- 博客(38)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [并发编程]------死肝ReentrantLock源码
与Node（1）state初始值为0，表示未有线程持有锁当前持有锁的线程（3）headCLH队列头节点，本质上一个Node（4）tailCLH队列尾节点，本质上一个Node。
2022-07-31 17:24:15
289
1
原创 e.printStackTrace引发的线程阻塞
1.背景老化环境上的某个服务出现假死状态2.过程排查服务日志并没有发现内存溢出之类的错误，使用swagger-ui访问接口
2021-06-01 16:45:43
2310
7
原创 [Java集合]------ArrayList的扩容机制源码分析
一、ArrayList的简介public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.SerializableArrayList实现了List<E>、RandomAccess、Cloneable、java.io.Serializable接口Lits<E>:说明Array
2021-05-16 15:10:19
225
1
原创 [Kafka错误]-----kafka在window下出现另一个程序正在使用此文件,进程无法访问的错误
目录前言------对于只想解决这个问题的程序猿们，可以直接跳到"解决"1.背景2.问题3.原因4.解决（尾部有提供编译好的kafka包下载链接）4.1kafka补丁版本下载4.2编译kafka补丁版本5.懒人福音前言------对于只想解决这个问题的程序猿们，可以直接跳到"解决"对于只想解决这个问题的程序猿们，可以直接跳到"解决"对于只想解......
2019-10-14 10:49:48
5265
13
原创 Spring Aop实现动态获取mapper执行的SQL，并保存SQL到Log表中
1.背景工作的时候遇到一个这样的需要，在多机环境下，使用Mysql作为参数库。因为某些原因不能使用Mysql自带的数据同步，所以需要自己实现一个多节点的Mysql数据同步程序。所以打算人为的设定主Mysql可读可写，备Mysql只能读。为了保证各个Mysql数据的同步，有一个Log表，用于记录操作主Mysql的SQL语句，从而其他备Mysql只需要通过Log表来进行数据同步。2.难点......
2019-08-31 23:19:53
10984
22
原创 HBase之写入数据流程
目录1.HBase写入数据流程2.疑问2.1上述（8）中，数据写入到HLog时，实际上在这个时刻只是写入文件系统的缓存中，并没有真正的落地到磁盘中，那什么时候落地到磁盘中呢？1.HBase写入数据流程（1）Client向服务端发起Put请求。默认情况下，autoflush=true，所以每发送一个Put请求，就会直接发送到服务端。当autoflush=false时，则会将P......
2019-07-03 22:35:57
6421
原创 HBase之读取数据流程
说明本文参考自 HBase数据读取流程解析hbase（二）hfile结构目录说明1.HBase读取数据流程2.疑问2.1上述（10）中，需要对满足条件的KeyValue进行从小到大排序合并构建最小堆。2.1.1为什么Scanner需要有小到大排序？2.1.2HBase中KeyValue是什么样的结构？2.1.3不同KeyValue之间如何进行大小比较......
2019-07-01 16:21:56
13777
10
原创 HBase之架构分析
1.HBase架构组成1.1Zookeeper存放整个HBase集群的元数据以及集群的状态信息 实现HMaster主从节点的failover（故障转移）1.2HMaster说明：有关HBase的负载均衡可以参考HBase学习之负载均衡（balance）管理RegionServer，为RegionServer分配HRegion，实现负载均衡 处理schema更新请求（例...
2019-06-26 10:47:06
155
原创 Hadoop之Yarn
目录说明1.Yarn是什么？2.Yarn之ResourceManager2.1ResourceManager主要职责2.2ResourceManager主要组件2.2.1与Client交互组件2.2.2与ApplicationMaster交互组件2.2.3与NodeManager交互组件2.2.4其他核心组件2.2.5安全相关组件3.Yarn之NodeM...
2019-05-30 16:46:43
1326
原创 Hadoop之MapReduce的shuffle过程
目录1.shuffle是什么？2.shuffle做什么？3.shuffle怎么做？1.shuffle是什么？shuffle是贯穿MapReduce中Map\Reduce阶段的一个操作，主要目的是为了把Map端的输出结果有效的传输到Reduce输入端2.shuffle做什么？完整的将Map端的输出结果拉取到Reduce端 在拉取数据的过程中，尽可能的减少网络传输的消耗...
2019-05-08 14:20:31
636
原创 Hadoop之DataNode
目录1.DataNode是什么？2.DataNode做什么？3.DataNode怎么做？1.DataNode是什么？Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。2.DataNode做什么？Datanode以存储数据块(Block)的形式保存H...
2019-05-06 17:25:25
2620
原创 Hadoop之NameNode、SecondaryNameNode
目录1.NameNode是什么？2.NameNode做什么？3.NameNode怎么做？4.NameNode存在什么问题？5.Secondary NameNode的引入1.NameNode是什么？NameNode是一个中心服务器，负责管理文件系统的名字空间namespace以及客户端对文件的访问。2.NameNode做什么？文件系统目录树管理 数据块和数据节点...
2019-05-05 15:18:27
468
原创 [Kafka快速入门三]------低级api同时消费多个topic，并手动管理offsets到zookeeper
1.前言网上有一大堆的关于高级api同时消费多个topic的做法，也有一大堆关于低级api消费单个topic，并手动管理offsets存储到zookeeper的做法，但是搜寻了很久仍没有发现有使用低级api消费多个topic，并手动管理offsets存储到zookeeper的做法2.前提1）已经安装了zookeeper集群和kafka集群并已经启动有关zookeeper集群的简单搭...
2019-04-09 23:00:55
588
原创 [GOF设计模式]------创建型模式之单例模式
1.单例模式介绍单例模式：保证一个类只有一个实例，并且提供一个访问该实例的全局访问点。单例模式优点：1.一个类只有一个实例，系统资源开销小2.优化共享资源的访问常见单例模式分类：主要：饿汉式（线程安全，调用效率高，但是不能延时加载）懒汉式（线程安全，调用效率低，但是能延时加载）其他：枚举单例（线程安全，调用效率高，但不能延时加载）静态内部类式（线程安全，...
2019-03-27 22:01:17
188
原创 [Kafka快速入门一]------搭建Kafka集群
1.前言由于kafka是交由zookeeper管理的，所以在搭建kafka集群前请先搭建好zookeeper，具体操作可以看另一篇博文[zookeeper快速入门一]------简单搭建zookeeper集群2.准备kafka_2.11-1.0.0 kafka下载地址两台虚拟机，ip分别为master 192.168.33.128slave1 192.168.33.12...
2019-03-26 09:47:35
330
原创 [zookeeper快速入门一]------简单搭建zookeeper集群
1.前言由于kafka是由zookeeper管理的，所以在搭建kafka集群之前，要先搭建zookeeper，这里也搭一个zookeeper集群2.准备zookeeper版本3.4.13 zookeeper下载地址jdk1.8 jdk下载地址 注意zookeeper安装前先安装jdk1.8，下面不做jdk安装的演示了。两台虚拟机，ip分别为master 192.1...
2019-03-25 23:00:59
351
原创 [Kafka快速入门二]------使用命令行操作Kafka
目录1.前言2.快速入门1.创建Topic2.查看Topic3.生产消息4.消费消息5.查看每个brokers的工作情况1.前言学习任何技术，跟学骑自行车一样，不要一开始只关注它的具体细节是什么。先学着怎么骑，骑着骑着就了解大致的原理，这个时候在去看它的原理，会很轻松源自http://orchome.com/kafka/index2.快速入门前提：已...
2019-03-25 17:44:00
522
原创 [Maven]------使用pom.xml中默认的打包插件会出现所有的依赖jar包都没有打包进去的情况
<build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <plugins> <!--shade打包插件--&...
2019-03-21 17:17:24
2171
原创 [Kafka错误]------使用Kafka的kafka-console-consumer.sh不能消费消息
1.前言使用Ambari搭建的kafka集群，在使用kafka-console-producer.sh的时候，指定--broker-list的值需要从server.properties中查看listeners=PLAINTEXT://的值。同理，使用kafka-console-consumer.sh的时候，指定--bootstrap-server也需要从server.properties中查看......
2019-03-20 10:54:11
14490
1
原创 [Hbase错误]------在Ambari搭建的集群环境中使用hbase shell报错java.lang.NoClassDefFoundError
1.前言最近在Ambari搭建的集群环境中，使用Hbase shell会报错2.问题（1）java.lang.NoClassDefFoundError: org/apache/zookeeper/Watcher（2）java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName3.解决（1）第一个错误在...
2019-03-18 14:34:33
264
原创 [Hadoop错误]------使用completebulkload的时报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter
1.前言由于最近需要将海量的历史数据从Mysql迁移到Hbase中，所以使用了较为高效的ImportTsv和bulkload。2.问题在使用ImportTsv将数据转成HFile文件后，使用bulkload的时候报如下错误java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter3.解决通过百度知道是因为HA...
2019-03-14 13:26:44
870
原创 [Hbase错误]-----删除DataNode的坏块后，启动Hbase报错找不到hbase.version文件
1.前言在服务器上搭建了伪分布式集群，由于重启服务器的时候没有在Ambari正常关闭集群，相当于直接断电，集群非正常关闭。而后使用Ambari启动HDFS的时候，发现出现了Missing block的提示。在解决完Missing block的后，启动Hbase的时，发现Hbase的Hmaster开启后又马上闪退。2.问题检查Hbase的日志后发现报如下错：HBase fil...
2019-02-25 15:47:23
3034
2
原创 [Kafka错误]-----IDEA上远程连接kafka报错Failed to send messages after 3 tries.
1.前言最近在linux上搭建kafka集群的时候发现，在linux上启动kafka进行生产消费数据时没有问题。一旦在IDEA上通过Java API操作kafka时就会报Failed to send messages after 3 tries.的错误。通过查找资料和尝试后，终于含泪连接成功了。2.问题远程连接kafka报错Failed to send messages after 3...
2019-02-20 16:01:52
1681
原创 2018年度总结
1.时间轴2018-07-02 人生第一次公司上班入职，从事Java后台开发2019-01-01 入职转正2019-02-13 从Java后台开发转岗至大数据2.感想入职的公司并非传统的互联网行业，所以有关软件开发的管理、流程和规范都不是很正规。实习期的前三个月基本上都是在学习一些插件（poi、echarts、datatimepicker）完成简单的功能，一开始...
2019-02-13 09:56:18
174
1
原创 [Hbase错误]-----使用Java Api连接Hbase报Can't not get locations
1、前言最近入门Hbase，就在某课网上找了一个关于《HBase+SpringBoot实战分布式文件存储》的实战视频，跟着视频搭建了伪分布式的Hadoop+Hbase环境，然后使用Java Api进行Hbase的相关操作时，遇到了一些视频上并没有说明的坑，借此记录下来分享一下。2.问题（1）进行Hbase连接测试的时候，发现使用java api连接Hbase非常的慢。（2）进行Hb...
2019-01-21 10:32:12
2409
2
原创 sqlserver使用sql清理日志
ALTER DATABASE '数据库名' SET RECOVERY SIMPLE WITH NO_WAITGOALTER DATABASE '数据库名' SET RECOVERY SIMPLE --简单模式GOUSE '数据库名'GODBCC SHRINKFILE (N'数据库名_log' , 11, TRUNCATEONLY)GO ...
2018-12-05 08:59:32
6146
原创 POI导出——Excel实现单元格的背景色填充
1.背景随着业务需求的扩充，简简单单的Excel导出已经不能满足客户的胃口了。而POI api这个家伙里面的坑有时候真的是让你分分钟没有脾气，所以打算记录下来，分享一下poi的坑及其解决方法。2.POI导出Excel设置单元格背景色2.1使用poi提供的背景色//1.获取Excel工作簿对象HSSFWorkbook wb = new HSSFWorkbook();//2.获取...
2018-11-23 13:48:32
7361
2
原创 树形结构数据查询------数据库篇（利用Sql查询出父节点及其底下所有子节点[包括子节点下的子节点]）
1.背景最近工作老是会遇到需要根据父节点查询底下所有子节点的业务。心里突然冒出想直接使用sql语句一步到位查询出来的想法，故此尝试了一波，没想到效果还不错，记录下来说不定以后可以继续沿用和改进。也希望能给更多需要的人提供一点帮助。这里主要介绍一下两种数据库中sql的查询实现。分别为mysql和sqlserver，两者之间的实现方法还是有些不同的。新手一个，还不能深刻的剖析原理，所以多多谅解...
2018-11-21 18:07:50
10732
6
原创 bootstrap+jq实现简单的分页
1.心理路程新手上路，最近做了几个项目都涉及到分页，但是每次做完分页之后都没有归纳出自己的一套通用的分页实现，导致每次做分页的时候都需要花费时间去重新写一个，为什么不使用分页插件呢？原因是（1）自己实现一个扩展性比较好（2）能够加强对jq的使用（3）分页插件太多了，不想去深究了。综上，打算将这次项目中自己所做的分页实现作为以后的通用模板，当然我会不断的优化更新的。所以前期虽然实现了简单的分...
2018-03-27 13:31:59
6660
1
原创 重定向和转发路径问题的细节部分【shiro出现循环重定向问题】
最近使用shiro做登录拦截的时候，设置shiroFilter的loginUrl属性的值的时候，因为自己对重定向路径问题了解不够深入，吃了血一般的教训。两天所走的弯路可以用一句话来解决： 转发和重定向的URLString前有加 “/” 为绝对路径 反之为相对路径...
2018-03-20 22:19:55
2401
2
原创 JavaWeb之九大内置对象和四大作用域
1.jsp中的九大内置对象1.1Request[javax.servlet.HttpServletRequest] 封装了浏览器、客户端请求信息1.2Response[javax.servlet.HttpServletResponse] 封装了服务器响应的信息1.3session[javax.servlet.HttpServletSession] 用于保存会话信息，同一用户在不同...
2018-02-25 14:43:27
1199
转载 json转换错误：No converter found for return value of type
转载自：http://blog.csdn.net/gsycwh/article/details/56675836
2018-01-17 15:15:36
507
转载 IDEA2017出现Error:java: Compilation failed: internal java compiler error
set中java complier 设置的问题 ，项目中有人用jdk1.6 有人用jdk1.7 版本不一样 会一起这个错误 进行如下操作：
2018-01-16 14:33:14
315
原创 JavaWeb用户邮箱注册之邮箱激活验证
1.配置环境1.1pom.xml中添加依赖 javax.mail mail 1.3.2 1.2实体类Userpackage com.gym.pojo;import lombok.Data;@Datapublic class User { private Integer userId; priv
2018-01-11 16:31:27
1211
2
转载 IDEA2017创建SpringMVC4+Spring4+mybatis3+Maven3的web项目
目录1IDEA2017创建maven web工程1.1开发环境1.2创建maven web项目1.3项目部署2.SSM整合2.1打开IDEA,创建项目目录如下图所示2.2创建配置文件2.2.1pom.xml2.2.2数据库配置文件db.properties2.2.3日志配置文件log4j.properties2.2.4spring-mvc.xml2....
2018-01-10 16:48:33
2389
jackson2.9.9整合包.rar
2019-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人