![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
YoungLee16
这个作者很懒,什么都没留下…
展开
-
连接
https://blog.csdn.net/yuexianchang/article/details/52468291转载 2018-07-26 16:42:07 · 142 阅读 · 0 评论 -
centos5.6安装neo4j3.3.5
准备安装包neo4j-community-3.3.5-unix.tar.gz文件解压 tar –zxvf neo4j-community-3.3.5-unix.tar.gz 修改配置文件 cd /home/neo4j/neo4j-community-3.3.5/conf vim neo4j.conf 启动neo4j cd ...原创 2018-08-02 16:13:28 · 453 阅读 · 0 评论 -
centos5.6安装azkaban
安装包在https://pan.baidu.com/s/1RNNcgNbtGzdjz5SQAuqRwA.直接拿1.解压文件创建一个新的目录mkdir –p /home/lulu解压压缩包到/home/lulu目录下tar –xvf azkaban.tar 2.MySql 配置运行mysql的命令 : mysql -uroot -p mysql> create...原创 2018-08-02 16:17:05 · 185 阅读 · 0 评论 -
windows 单机版 kafka 搭建
最近项目中使用了kafka作为消息中间件进行服务间数据通信;公司里的kafka集群是5台机器的,5台zookeeper做负载均衡;但是莫名的总有一个节点会挂掉..由于我还很菜..所以就本地搭个单机版的 kafka自己玩玩... kafka 2.11的安装包就留个百度云地址了.....https://pan.baidu.com/s/1L_9bbieTSsjWAe_3JLzN3w自...原创 2018-12-09 23:08:20 · 955 阅读 · 0 评论 -
springcloud 整合使用logback记录业务日志
分批次,分目录文件记录不同的业务记录的日志,然后日志按照不同的业务在不同的目录下供大数据平台捞日志处理数据 使用的是开源的一个JHipster框架,也是基于Springcloud开源的,整合的功能比较多.但是自己只是知道的寥寥无几.. spring在使用的使用,也是通过切面的方式将日志功能切入到整体架构中: package com.trs.idap.aop.logging...原创 2018-12-24 20:19:44 · 6902 阅读 · 0 评论 -
kafka设置监听器的启动和禁用
拿个需求是要对kafka监听设置动态配置...开关定义kafka是否启用; 但是在使用kafka的时候,springcloud集成 的kafka就是直接添加注解,启用监听就可以了...但是监听不监听,有点儿难... @KafkaListener(topics = {Constants.KAFKA_TOPIC_CONSUMER_4G_ZM}, containerFactory...原创 2018-12-24 20:32:13 · 11086 阅读 · 3 评论 -
springcloud 整合kafka的producer生产数据
贴代码,producer生产配置类 package com.trs.idap.config;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.common.serialization.StringSerializer;import org.springframework....原创 2018-12-24 20:43:39 · 1270 阅读 · 0 评论 -
Kafka重复消费数据问题
kafka重复消费的问题,主要的原因还是在指定的时间内,没有进行kafka的位移提交,导致根据上一次的位移重新poll出新的数据,而这个数据就是上一次没有消费处理完全的(即没有进行offset提交的),这也是导致kafka重复数据的原因.改为代码中就是,代码中会指定一个session-time来进行kafka数据的poll,供consumer进行消费处理..一次进行poll的数据量由ma...原创 2019-02-12 18:02:48 · 6656 阅读 · 0 评论