- 博客(19)
- 收藏
- 关注
RSS订阅原创 双缓冲机制在一些软件或框架内的应用
JVM的垃圾清除算法，众所周知，在年轻代用的都是 复制清除算法，这也就是为什么年轻代分为了S0和S1 两个大小一样的内存空间。 S0满了，就复制到S1去，然后清空S0，当然，GC还会整理好内存，使其连续起来，那么还有哪些常用软件或框架用到了这个双缓冲机制呢？1 MySql的Redo Log我们知道，在InnoDB存储引擎的数据目录下会有两个名为ib_logfile0和ib_logfile1的文件，这就是InnoDB的重做日志文件(redo log file)，它记录了对于InnoDB存储引擎的事务日
2021-05-09 15:54:59
164
原创 kafka的网络架构
首先客户端发送请求全部会先发送给一个Acceptor，broker里面会存在3个线程（默认是3个），这3个线程都是叫做processor，Acceptor不会对客户端的请求做任何的处理，直接封装成一个个socketChannel发送给这些processor形成一个队列。发送的方式是轮询，就是先给第一个processor发送，然后再给第二个，第三个，然后又回到第一个。消费者线程去消费这些socketChannel时，会获取一个个request请求，这些request请求中就会伴随着数据。线程池里面..
2021-04-10 18:17:03
147
原创 spark连接mysql，hbase
spark内存计算框架RDD的创建方式 1、通过已经存在的scala集合去构建 val rdd1=sc.parallelize(List(1,2,3,4,5))val rdd2=sc.parallelize(Array("hadoop","hive","spark"))val rdd3=sc.makeRDD(List(1,2,3,4)) 2、加载外部的数据源去构建 val rdd1=sc.textFile("/words.txt") 3、从已...
2021-04-10 18:08:49
304
1
原创 堆排序
package bai;import java.util.Arrays;public class HeapSortTest {public static void main(String[] args) { int [] arr = {1,5,6,8,2,3,9,12,34,13,15,16,76,34,77,78,99,11}; heapSort(arr); Sys...
2020-03-30 14:57:20
104
原创 归并排序
package bai;import java.util.Arrays;public class MergeSortTest {public static void main(String[] args) { int[] nums = {2,5,6,4,3,99,100,87,19,29,1000,98,56,12,1}; nums = mergeSort(nums); ...
2020-03-30 14:56:20
94
原创 kafka生产者发送消息的时候避免粘包的代码
通过观察构建ClientRequest的过程可知，其有一个RequestSend，其构造函数如下： public RequestSend(String destination, RequestHeader header, Struct body) { super(destination, serialize(header, body)); this.header = hea...
2020-03-20 17:15:24
249
原创 kafka如何避免粘包问题在core发送的时候-自己记录用
在broker端看源码KafkaApis.scala的produceResponseCallback方法内，当acks不等于0时，即生产者需要返回响应，有一句代码：requestChannel.sendResponse(new RequestChannel.Response(request, new ResponseSend(request.connectionId, respHeader, r...
2020-03-19 17:16:03
137
原创 KafkaProducer是如何处理暂存状态的响应消息的
1 发送请求NetworkClientpublic void send(ClientRequest request, long now) { String nodeId = request.request().destination(); if (!canSendRequest(nodeId)) throw new IllegalStateException("...
2020-03-18 16:33:53
198
原创 kafka源码生产者消息笔记
: Specified key was too long; max key length is 767 bytes
mysql数据库，卡系统运行了一段时间，后来卡号要求不可以重复，于是加了一个唯一索引 alter table card add unique(cardnum)，结果报错：ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes，我设置的cardnum长度是varchar(256)，于是修改该长度，改为va...
2020-02-22 15:57:00
360
原创 IDEA导入Hadoop源码并且可以调试遇到的问题
想学大数据，第一步就是学习编译，作为一个使用window的屌丝，想在window环境下调试hadoop源码，就得先把hadoop源码编译好，在此，推荐一位大神的：https://blog.csdn.net/feinifi/article/details/82895362 , 他在github上挂出了编译好的hadoop2.7.0的window环境的hadoop，尤其是里面的关键文件很重要，我是...
2020-02-15 10:28:31
1083
原创 CDH卸载kafka重新安装出现的问题
一个不爽就把kafka暴力删除了，但是因为没有删除干净，导致在CDH内重新安装的时候出现错误，记录一下，估计很少有人遇到卸载重新安装kafka出现分配失败，缺少json文件的错误，重启电脑，切换cloudera-scm用户，执行删除命令rm -rf KAFKA-3.1.0-1.3.1.0.p0.35，每个节点都执行一次，然后发现报的错误在一个一个小时，然后可以重新激活另外：如果一直处于激活...
2020-01-08 17:12:24
1046
原创 IDEA相关
IDEA - 返回上一步，回到下一步 代码 快捷键回到上一步 ctrl + alt + <-回到下一步 ctrl + alt + ->idea调试scala之 is already defined as object原因是这两个myproject/src和myproject/src/main/scala被标记为源。因此，myproject/src/main/scala由于上...
2020-01-08 17:09:01
98
原创 RDD常用的算子操作
transformation算子转换含义map(func)返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成filter(func)返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成flatMap(func)类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单...
2020-01-02 15:37:47
475
原创 暴力卸载CDH
按步骤执行，记得删除scm库ps -ef | grep cloudera | grep -v grep | cut -b10-15 | xargs kill -9ps -ef | grep supervisord | grep -v grep | cut -b10-15 | xargs kill -9umount /var/run/cloudera-scm-agent/processrm ...
2020-01-02 15:34:58
228
原创 linux 删除文件夹提示 device or resource busy
linux 删除文件夹提示 device or resource busy想删除/opt文件夹先查看文件夹有没有进程在使用ls of /opt或是 ps -ef | grep “/opt”发现都没人在使用，后怀疑该目录被mountcat /proc/mounts | grep “/opt” | awk ‘{print $2}’umount 后面加上cat到的全路径 即可成功删除...
2020-01-02 15:33:27
2469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人