- 博客(9)
- 收藏
- 关注
原创 KAFKA随机产生JMX 端口指定的问题
由于测试环境的kafka集群是在私有云的资源池上开的三台虚拟机,而且很多端口都没有开发,所以在搭建kafka服务的时候需要指定开放哪些端口,zk用的是kafka自带的zk启动的,我们在正常开放了2181、9092以及我们指定了JMX_PORT的9999三个端口外,发现远程监控程序无法连接kafka的JMX进行监控,于是我们看了一下kafka占用的端口:ss -ltnp | grep ${kaf...
2018-08-30 10:55:04
4417
原创 filebeat+ELK搭建
filebeat安装安装环境:filebeat-6.3.1-linux-x86_64下载地址:https://www.elastic.co/downloads/beats/filebeat 安装步骤:1.上传介质:filebeat-6.3.1-linux-x86_64.tar.gz解压:tar zxvf filebeat-6.3.1-linux-x86_64.t...
2018-07-26 16:04:13
662
原创 关于flume Header头信息乱码解析问题
在生产环境消费kafka传输过来的flume的采集信息的时候,发现flume的header的头信息有乱码现象出现,例如<0x04><0x10>hostname<0x1a>wangdong-test<0x10>filename<0x1a>test-log.....这种现象导致我们在写消费者程序的时候,无法通过正常格式化json的方式或者...
2018-07-26 15:07:07
2512
原创 利用storm个性化存储hdfs(更改storm-hdfs插件源码)
在项目过程中,有这样一个需求,需要用storm消费实时流日志,存储hdfs,如果伙伴们要是抱着自己开发存储的心态去做,可能会耗费一定的开发周期,比较不划算,因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs,但是这个包中是按固定路径去存储的,在实际生产业务中,我们往往会有利用tuple中的字段作为存储路径的需求,这样的话,只需要重写一个...
2018-07-26 15:03:13
451
原创 利用storm1.0的窗口机制做pv统计(二)
在第一版里我着重的讲述了如何利用storm1.0带的窗口机制来做pv统计,而在(二)里面,我是基于(一)的升级,首先我还是来描述一下业务场景: 随着业务高峰期的到来,kafka中计算数据的qps急速增加,而计算资源的紧张导致cpu也直线飙升,所以计算延迟,服务down掉的情况时有发生,这时通过对每一个bolt执行时间的监控,发现了问题,(一)的数据落地在mysql中,...
2018-07-26 14:55:52
487
原创 kafka权威指南阅读笔记(二)
1.kafka生产者组件图我们从创建 一 个 ProducerRecord 对象开始, ProducerRecord 对象需要包含目标主题和要发 送的内容。我们还可以指定键或分区。在发送 ProducerRecord对象时,生产者要先把键和 值对象序列化成字节数组,这样它们才 能够在网络上传输 。接下来,数据被传给分区器。如果之前在 Produc巳rR巳cord对象里指定了分区,那么分区器 就不会...
2018-05-24 16:29:56
385
原创 kafka权威指南阅读笔记(一)
1.如何为主题选定分区数量:为主题选定分区数量并不是 一 件可有可无的事情,在进行数量选择时,需要考虑如下几个因素。· 主题需要达到多大的吞吐量?例如,是希望每秒钟写入 100KB 还是!1GB? . 从单个分区读取数据的最大吞吐量是多少?每个分区 一般都会有一个消费 者,如果你知道消费者将数据写入数据库的速度不会超过每秒 50MB,那么你也该知道,从一个分区读取数据的吞吐量不需要超过每秒 50M...
2018-05-23 16:37:28
540
原创 利用storm1.0的窗口机制做pv统计(一)
近期需要用storm(1.0版本)做pv统计,现在通过博客把topology的设计,coding,和上线调优的过程记录下来,留着给做相关事情的小伙伴阅读一下。 一. 首先叙述一下业务场景,网站的访问信息被网关层nginx记录下来,nginx日志以json的数据结构发到我们的kafka消息队列中,需要利用storm实时处理平台去fetch数据,将数据指标按照不同的访问域,不...
2018-04-15 23:39:58
1341
原创 互联网成长之路开启,职场第一次重要选择
博主今年是工作接近三年,之前在一家国内知名解决方案类的IT公司做实时计算方向上的项目,在这期间积累了一些大数据生态圈的兴趣与经验,现在换到一家互联网垂直领域的公司继续做相关方向的工作,只是应用场景不在是给甲方做需求架构,而是转为给自己公司,自己产品做架构,做服务,这种感觉就像是,一个婴儿保姆,突然自己怀孕了一样。 其实博主一直是一个非常热爱技术和热爱学习的人,博主的人生梦...
2018-04-01 12:40:46
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人