- 博客(36)
- 资源 (17)
- 收藏
- 关注
RSS订阅
原创 java高并发编程（多线程详解) - 学习目录
java高并发编程（多线程详解-学习目录）前言目录前言对于我自己而言，通过一个完整学习体系去学习新的东西是很有必要的，在很多的时候是有事半功倍的效果。对于多线程高并发而言我的学习路径主要是通过看书百度（后期可能会订阅一部分网络课程）去学习，在学习这些知识的时候总会因为其他的知识点不了解二不能串联起来，所以写了这个主题为多线程的专题博客，其目的是以文章的形势整理一篇别人能够看懂的知识文章，只有能...
2020-01-22 01:02:49
310
原创 常用设计模式-归纳
常用设计模式我一直认为人的精力是有限的，不是什么都系都要学，我们学习东西挑重点挑常用的去学习。设计模式总共有23种，我们不能所有的都学，这样费时费力且记不住，所以我这里记录的是常见的且核心的几种设计模式。那些设计模式常用且核?当然是各大框架中最常出现的设计模式。下面是我归纳的设计模式。后续逐渐添加。。。《设计模式-责任链模式》《设计模式-代理模式》...
2019-11-23 01:03:21
145
原创 设计模式-策略模式
策略模式基本概念什么是策略模式使用案例代码示例结论策略模式的总结：主要优点：主要缺点：基本概念什么是策略模式 策略模式（Strategy），定义了一组算法，将每个算法都封装起来，并且使它们之间可以互换。使用案例 打个通俗的比方，在商场中有打折，满减，返利等不同类型的优惠活动，我们把每一种优...
2020-03-13 18:10:20
217
原创 java高并发编程（多线程详解）-多线程基础
java高并发编程（多线程详解）-多线程基础什么是线程创建线程的两种方式线程的生命周期Runable接口的引入以及策略模式什么是线程创建线程的两种方式线程的生命周期Runable接口的引入以及策略模式...
2020-01-22 00:44:31
961
原创 IDEA 创建一个新的包 在这个包下创建类时找不到java class，只有kotlin class？ 右键不能创建java
IDEA 创建一个新的包 在这个包下创建类时找不到java class，只有kotlin class？ 右键不能创建java有时idea中会遇到不能创建java文件的问题，这个问题可能有两个原因1.原因一：没有给文件夹设置权限,这个问题很多文章都有写到解释如下https://www.cnblogs.com/zimo-jing/p/9628784.html2.原因二：...
2019-12-17 22:15:20
7248
8
原创 es语法
es语法这个是本人看见过最好的es使用文档了，简单简洁且不失重点，属于翻译过来的文档。可以持续关注https://es.xiaoleilu.com/340_Geoshapes/80_Caching_geo_shapes.html...
2019-11-26 16:32:15
298
原创 设计模式-责任链模式
设计模式-责任链模式什么是责任链模式意图主要解决何时使用如何解决应用实例优点：缺点：使用场景：示例于对比代码业务逻辑没有使用责任链示例涉及到的类没有使用责任链的代码使用责任链的代码涉及到的类代码如下什么是责任链模式顾名思义，责任链模式（Chain of Responsibility Pattern）为请求创建了一个接收者对象的链。这种模式给予请求的类型，对请求的发送者和接收者进行解耦。这种类型...
2019-11-23 00:54:29
317
原创 设计模式-代理模式-（静态代理，动态代理-jdk代理和cglib代理）
设计模式-代理模式什么是代理模式优点缺点代理模式分类静态代理模式动态代理模式jdk动态代理cglib动态代理模式两种动态代理模式比较功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你...
2019-11-21 01:22:48
380
原创 mysql-丢失更新，脏读，幻读，不可重复读
1、丢失更新如果两个事务都要更新数据库一个字段X，x=100事务A 事务B 读取X＝100 读取X＝100 写入x＝X+100 写入x＝X+200 事务结束x=200 事务结束x=300 最后x=300 两个不同事物同时获得相同数据，然后在各自事务中同时修改了该数据，那么先提交的事务更新会被后提交事务的更新给覆盖掉，这种情况事务A的更新...
2019-11-11 23:32:34
354
转载 mysql-事务的隔离级别如何通过锁机制实现
事务的隔离级别通过锁机制实现解释：未提交读：事务T在读取数据的时候并未对数据进行加锁，事务T在修改数据的时候对数据增加行级共享锁，这种隔离级别会导致脏读 已提交读：事务T在读取数据时增加行级共享锁，读取一旦结束，立即释放；事务T在修改数据时增加行级排它锁，直到事务结束才释放，这种隔离级别解决了脏读 可重复读：事务T在数据读取时，必须增加行级共享锁，直到事务结束；事务T在修改数据过程中，必须...
2019-11-11 22:16:48
380
原创 mysql-事务与锁基础
什么是事务mysql中一个mysql语句或者是一组sql语句要么全不执行成功，要么全部执行失败，失败后数据变回原始数据模样。举例：A给B 100元钱，sql的两哥步骤的操：A-100 ,B+100;在对数据AB用户进行操作时，要么A-100 ,B+100均成功，要么两个都失败，失败后。如果A-100失败，则B+100不执行；如果B+100失败，则A-100操作回滚。即失败后AB的数据和...
2019-11-10 16:44:00
89
原创 mysql-物化视图-延时性物化视图和及时性物化视图的创建及其使用
物化视图是一个实体的表，物化视图是相对于视图而言的，但是两者实际上并没有什么关系就如java/javaScript一样首先mysql的视图不是一种物化视图，他相当于一个虚拟表，本身并不存储数据，当sql在操作视图时所有数据都是从其他表中查询出来的。者带来的问题是使用视图并不能将常用数据分离出来，优化查询速度，切操作视图的很多命令和普通标一样，这回导致在业务中无法通过sql区分表和视图，是代码变得...
2019-11-10 14:40:20
1048
原创 springboot启动报错：org.yaml.snakeyaml.parser.ParserException: while parsing a block mapping in 'reader'
yml配置文件读取出错：org.yaml.snakeyaml.parser.ParserException: while parsing a block mapping in 'reader'该类问题可能有两种原因第一种：值包含符号application.yml文件内容如下:错误如下：原因：密码中存在符号，springboot加载时会出问题。解决：使用单引号讲内...
2019-11-01 17:45:28
12784
原创 mysql-三范式
数据库设计需要遵从范式。数据库范式有六种：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BCNF）、第四范式(4NF）和第五范式（5NF，又称完美范式）。一般说来，数据库只需满足第三范式(3NF）就行了（第四范式常见用于数据仓库的设计，第五范式用于下一代数据数据仓库设计【是一个更加完整的数仓但是也是更加的细致】）。下面用画图方式简单介绍下前三范式。1NF:字段...
2019-10-30 09:22:52
172
原创 mysql基础-存储过程
什么是存储过程像java中的函数一样。属于主动技能存储过程（Stored Procedure）是在数据库系统中，一组为了完成特定功能的SQL 语句集，它存储在数据库中，一次编译后永久有效，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。存储过程是数据库中的一个重要对象。存储过程的优点减少了sql语句的网络（从后端到mysql集群）传输从而提升了速度。 ...
2019-10-16 23:56:06
176
原创 mysql 基础-触发器
触发器就像是一个被动技能，满足条件执行。为什么使用触发器简单的说，就是一张表发生了某件事（插入、删除、更新操作），然后自动触发了预先编写好的若干条SQL语句的执行；触发器优点特点：触发事件的操作和触发器里的SQL语句是一个事务操作，具有原子性,要么全部执行，要么都不执行；作用：保证数据的完整性，起到约束的作用；为什么慎用触发器触发器是隐藏到mysql后台运行的功能。...
2019-10-16 11:23:47
191
原创 mysql 基础-视图
什么是视图视图，虚拟表，从一个表或多个表中导出来的表，作用和真实表一样，包含一系列带有行和列的数据 视图中，用户可以使用SELECT语句查询数据，也可以使用INSERT，UPDATE，DELETE修改记录，视图可以使用户操作方便，并保障数据库系统安全为什么需要视图（优点）部分公司没有测试环境的情况下（很少的公司），会使用视图将数据取部分字段给开发人员以确保敏感数据的不被泄露（电话号码和...
2019-10-13 11:37:54
187
原创 网络安全渗透专业名词-常见术语
脚本：动态网站（asp，php，jsp）， linux， python网站：静态网站（与后台交互比较少，如html） 动态网站（使用动态脚本编写 如：asp，php，jsp，交互方便但是安全性不高，如果代码过滤不严格可能会导致漏洞最终导致后台linux被别人随意操作）http协议 ：（HyperText Transfer Protocol，超文本传输协议）是因特网上应用最为广泛的一种网络传...
2019-09-22 18:35:49
2038
原创 type(Generic<xxx>)cannotbeusedas
flink the type (GenericType<com.xxxx >) cannot be used as key.亲们出现这种错误是因为你对象没有无参构造方法 ，要注意咯。加入无参构造就好了然后就可以正常运行了...
2019-04-19 10:34:09
945
3
原创 Error:(10, 30) could not find implicit value for evidence parameter of type org.apache.flink.api.com
Error:(10, 30) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[example.Main.Point] val ds = env.fromElements(Point(1, 2), Point(3,...
2019-04-12 19:51:21
1097
转载 kafka的应用场景
关于消息队列的使用一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。...
2019-04-11 12:34:58
4200
1
原创 Flink及Storm、Spark主流流框架比较-实时框架比较
实时计算框架对比 - flink，storm，spark 三者的区别我相信有不少的工程师都有着这样的处境，在学flink之前很好奇flink，storm，spark的区别是什么，为什么现在很多企业都在往flink方向转它的优势是什么，为什么不适用storm，为什么不适用spark，在下面的内容中我会为大家解答。希望可以帮助大家，也希望大家看了之后可以提出自己宝贵建议。有限数据集和无限数据集...
2019-04-10 14:28:20
12118
原创 flink 从kafka读取数据 （java）
import jdk.nashorn.internal.codegen.CompilerConstants;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache...
2019-04-04 09:33:12
7173
原创 scala编写， flink 读取kafka并且自定义水印再将数据写入kafka中
flink 读取kafka数据并指定event time作为时间划分 再将数据导入kafka中（每分钟数据总和）（使用scala编写-复制运行可以直接跑通）1.需求说明（自定义窗口，每分钟的词频统计）1.从kafka中读取数据（topic：t1）。2.kafka中有event time时间值，通过该时间戳来进行时间划分，窗口长度为1分钟，窗口步长为1分钟。3.由于生产中可能会因为网...
2019-04-02 10:16:44
6461
原创 使用java 编写spark-streaming从指定的offset开始消费kafka 并且打印出每一条信息的offset
话不多说直接上代码，相信有点功底的spark 程序员都可以看懂这个代码 。第一步 创建kafka主题。（鄙人的测试时使用的1副本，3分区）kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test第二步 使用java 程序实时的向kafka中生...
2019-03-21 09:25:56
1812
转载 hive中创建关联hbase表的几种方案
作者：Tony_仔 来源：CSDN 原文：https://blog.csdn.net/qq_31598113/article/details/80181843 版权声明：本文为博主原创文章，转载请附上博文链接！ 【运行环境】hive-1.2.1 hbase-1.1.2【需求背景】有时候我们需要把已存在Hbase中的用户画像数据导到hive里面查询，也就是通过hive就...
2019-02-27 13:20:00
1272
原创 spark 序列化
在spark中自己定义的序列化java序列化：Serialization，但是这种序列化并不稳定，所以一般不使用自带的序列化，而是使用外部的kryo序列化，在下面的三个场景中会使用到该种序列化：在算子函数中使用到外部变量时，该变量会被序列化后进行网络传输（见“原则七：广播大变量”中的讲解）。 将自定义的类型作为RDD的泛型类型时（比如JavaRDD，Student是自定义类型），所有自定义类...
2019-02-20 16:43:18
217
原创 数据采集中的 全量采集，增量采集，差异采集
内容与下方一样全量备份： 一般是mysql表的数据做每日快照然后全量导入hive中增量备份： 获取每天更新的数据和hive中原有的数据进行合并差异备份：暂时没有遇到，后期遇到就加入说明...
2019-02-19 22:29:20
6230
转载 spark消费kafka的两种方式
https://blog.csdn.net/woloqun/article/details/80635304Spark-Streaming获取kafka数据的两种方式Receiver与Direct一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储...
2019-02-13 23:01:22
4252
转载 spark 累加器
一、累加器简介在Spark中如果想在Task计算的时候统计某些事件的数量，使用filter/reduce也可以，但是使用累加器是一种更方便的方式，累加器一个比较经典的应用场景是用来在Spark Streaming应用中记录某些事件的数量。使用累加器时需要注意只有Driver能够取到累加器的值，Task端进行的是累加操作。创建的Accumulator变量的值能够在Spark Web UI...
2019-01-28 00:03:51
1692
转载 spark sql DataFrameNaFunctions
DataFrameNaFunctions用来对DataFrame中值为null或NaN的列做处理，处理分为三种类型：drop：根据条件丢弃含有null或NaN的行fill：根据条件使用指定值填充值为null或NaN的列，相当于设置默认值replace：根据条件替换列值 下面是针对每种处理方式的详细解释： 1 2 3 4 5 6...
2019-01-28 00:02:04
349
转载 spark的 两种UDAF
一、UDAF简介先解释一下什么是UDAF（User Defined Aggregate Function），即用户定义的聚合函数，聚合函数和普通函数的区别是什么呢，普通函数是接受一行输入产生一个输出，聚合函数是接受一组（一般是多行）输入然后产生一个输出，即将一组的值想办法聚合一下。 关于UDAF的一个误区我们可能下意识的认为UDAF是需要和group by一起使用的，实际上UDAF...
2019-01-27 23:57:37
219
转载 大数据-数据仓库-概念和分层
文章参考http://ierda.blog.163.com/blog/static/77469587201326105956470/，https://blog.csdn.net/kwu_ganymede/article/details/51367422为什么要对数据仓库分层：a)用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；b)如果不分...
2019-01-10 22:45:33
1004
原创 spark sql中的udf和udaf实现
今天没什么事，突然想起之前写过的sqark中SQL中的UDAF方法，这个还是挺有意思的，难度比蜂房中UDAF高，其中直接体现了火花的分而治之的细想，所以打算今天的博客在加一个火花SQL的UDF和UDAF编写。直接进入正题。1.udf函数的编写.sqlContext.udf.register（“CTOF”，（degreesCelcius：Double）=>（（degreesCel...
2018-11-06 19:50:38
282
原创 hbase 布隆过滤器
前几天，和同事聊天发现他们对于HBase的的过滤器只知道查询过滤器，并不知道布隆过滤器什么，所以今天的文章就来说说特殊的过滤器 - 布隆过滤器。 基本理论：。首先要知道布隆过滤器的作用在HBase的中我们查找一个rowkey时，HBase的会通过一下三个步骤查询我们匹配的rowkey。1，先查询memstore [memstore是是一个按键排序的树形结构的缓冲区]，即写内存是否存储row...
2018-11-06 14:40:06
1635
原创 前言
接触大数据也有一段时间了，感觉大数据是一个很深的坑，然而自身的实力总是不能满足自己需要。有时候在大数据交流群里总是会遇到一些自己不知道的问题，常常会抓破脑袋，百思不得其解。私下也看过不少书籍，但是本人天生愚笨，阅读书籍后虽有一种焕然领悟的感觉，但是事后过几天就会发现自己所看的书基本忘记的差不多了。这时我在思考，我之前看的书是不是白看了，面试和处理问题的时候并不能立马想到问题的所在，只是大概的感觉，...
2018-11-02 22:14:03
463
数据仓库-维度建模.pptx
2020-09-07
HortonWorks-HBase的企业级应用-Ted-Yu.zip
2019-11-09
zabbix安装-mysql安装部分安装包
2019-11-09
zabbix安装包-zabbix-3.4.2.tar
2019-11-09
zabbix安装文档
2019-11-09
阿里的HBase业务和容灾实践.pdf
2019-11-09
晨晨网络留言板.rar
2019-11-09
腾讯云-云数据库对Hbase介绍
2019-11-09
HBase在小米中的应用实践.pdf
2019-11-09
hbase在阿里搜索中的应用.pdf
2019-11-09
Hbase学习分享资料
2019-11-09
hadoop-1.1.2.tar.gz
2019-11-09
45分钟搞定R语言.pdf
2019-11-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人