![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
nicodeme
代码改变了世界
展开
-
Storm安装部署与应用(1)
最近在使用Storm实时计算框架,总结一下学习到的知识。以下陈述纯属个人观点,如有错误,请斧正。关于Storm是做什么的?Storm是一个流式实时计算框架。何为流式?简单的说流水线模式,一个接一个的向下一个流转。何为实时?关于实时,就是Storm能够做到毫秒级甚至纳秒级梳理一条数据(注:这里的处理时间与业务逻辑和服务器性能有关)。能够做到相当短的时间内处理一条数据。下面我介绍一下干货。1、Stor...原创 2018-07-11 17:37:14 · 216 阅读 · 0 评论 -
Kafka中日志数据的清除小窍门
1、因为项目原因,kakfa通道中经常造成数据阻塞,导致kafka通道中数据量过大,因此我需要将kakfa通道中数据清除(个人项目原因,一直使用一个消费者,只要保证当前消费者不在消费之前很久的数据就可以。因数量过大,造成topic阻塞,消费者消费太慢,还有可能造成重复消费问题)。下面将介绍删除topic中数据或者日志数据的方法。A: 第一种方法就是1):停掉kafka进程2):删除ka...原创 2018-08-22 20:37:59 · 9240 阅读 · 0 评论 -
记录安装ELK踩坑记录
记录下这次安装部署ELK踩坑记录安装的elasticsearch是6.4.1,kibana-6.4.1将elasticsearch-6.4.1.tar.gz上传的机器之后,解压,然后# cd elasticsearch-6.4.1/bin //进入目录# ./elasticsearch -d //启动es,-d是后台启动# curl localhost:9200 //检验e...原创 2018-09-29 15:26:49 · 1004 阅读 · 0 评论 -
Es添加信息踩坑之--The number of object passed must be even but was [1]
es用1.4版本时BulkRequestBuilder bulkRequest = getTransportClient().prepareBulk();IndexRequest request = null;String json = "{" + "\"user\":\"kimchy\"," + "\"postDate\":\"2013-01-原创 2018-10-16 15:27:06 · 8671 阅读 · 3 评论