小小孩纸-CSDN博客

原创 hbase优化

hbase split条件：1、split策略2、flush之前会检测区域中HStoreFile数目是否超过hbase.hstore.blockingStoreFiles，如果超过且没有等待超时会调用CompactSplitThread.requestSplit(HRegion)https://blog.csdn.net/gingerredjade/article/details/63696842...

2023-03-31 13:38:11 405 1

原创 linkedlist

JDK8数据结构linkedlist底层采用双向链表结构双向链表特点是：它的第一个节点的prev指向最后一个节点，最后一个节点的next指向第一个节点。但是没有形成“环”linkedlist内部主要有三个属性，Node first、Node last、int size。且每个Node内部包含了Node prev、Node nextadd操作新建一个Node节点，该Node的prev指向last，next=null。如果last==null，则该Node设置为first节点（表名当前链

2021-03-04 19:30:24 271 1

原创学习java 异常处理--GC overhead limit exceeded

1、GC overhead limit exceeded(第二次运行的时候，不报这个错误，直接显示redis连接失败，然后报错Java Heap Space，其实原因还是一样的。后续大家遇到这种情况，可考虑gc过于频繁导致)发生条件：本地windows运行程序，jvm参数设置-Xms256m -Xmx256m Jmeter访问接口并发100(可调节) GC使用JDK...

2020-04-08 14:15:14 3586

转载 springboot 项目中遇到的BUG

https://www.jianshu.com/p/217017b2e73dSpringBoot配置数据库连接池，但日志却每次都新建连接Mybatis中动态打印SQL语句到控制台,只需要在SpringBoot配置文件中添加如下配置即可mybatis: configuration: log-impl: org.apache.ibatis.logging.s...

2020-03-12 13:58:18 740

原创 bytebuffer的内存使用记录

最近开发过程中需要使用到bytebuffer这个类。一开始是这样创建的。ByteBuffer buffer = ByteBuffer.allocate(50 * 1024 * 1024)本地测试没有问题，部署到测试环境，并发的时候出现问题了，报错说java no heap space。查看源码，原来在初始化的时候，会先申请50MB的堆内存。所以多个同时申请，超过内存的话，则...

2019-10-16 10:16:59 518

原创 hue 执行mapreduce问题

在hue平台上，可以配置mapreduce的workflow，但是存在bug。原因：相同的输入文件，不管用什么jar包（mapreduce），输出的内容都是一致的。实质上是我们自己编写的mapreduce并没有执行。解决方式：菜鸟一枚，修改hue代码不可能，在workflow中用shell脚本来执行jar文件，切记，不要指定main，不识别export HADOOP_USER...

2019-10-12 13:29:12 579

原创 fluentd 生成docker镜像

fluentd 现有的镜像不包含kafka插件，所以便自己动手修改Dockerfile文件，生成自己需要的镜像。[root@wk126121 docker]# cat Dockerfile # AUTOMATICALLY GENERATED# DO NOT EDIT THIS FILE DIRECTLY, USE /Dockerfile.template.erbFROM a...

2019-06-13 10:50:31 1772 1

原创 svn lock时强制解锁（break lock）

右击鼠标 tortoiseSVN->Repo-browser，选择获取锁的文件或文档，右键break-lock。酱紫锁就破啦~~~

2019-05-29 14:15:29 6649

原创 springboot中log4j2写日志到flume中

springboot默认的日志实现采用的是logback，但logback官方没有支持flume，所以就采用log4j2。我用的springboot是1.5.12版本的，首先要修改springboot的日志jar包，主要是不是springboot默认的日志，采用log4j2。<dependency> <groupId>org.springframework...

2018-07-13 14:04:04 3034 3

原创 springboot启动了，访问却报404错误

发生这个情况，是因为公司项目要统一springboot版本，就把springboot从2.0.0改成1.5.12；然后就出现了这个问题。以往遇到这个问题，都是因为没有扫描到包。但这次明明扫到包了，却还是报404；后来发现，原来是1.x和2.x版本的服务项目名配置格式不一样，导致不生效。修改以后就可以访问了。SpringBoot版本配置1.xserver.context-pa...

2018-06-28 10:56:30 3384

原创 redis外网连接

redis外网连接，主要是通过reidsconf中的bind属性。# By default, if no "bind" configuration directive is specified, Redis listens# for connections from all the network interfaces available on the server.# It is pos

2017-05-31 14:32:57 1025

hadoop.dll & winutils.exe For hadoop-3.0.0

亲测有效，想到自己下载的时候每个都要好多积分才能下，可恨自己没有积分，就好气，分享给大家。本想免费给大家，但资源分数没有0这个选项，大家就意思意思下吧，也当给自己攒点积分。如果你们真的没有积分的话，就去https://github.com/steveloughran/winutils 这个网站上下载对应的版本吧。

2018-05-28