![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
中间件
行思坐忆,志凌云
务实北斗应用之星火,畅想北斗产品之燎原
展开
-
python+flume+kafka+SparkStreaming+HBase实现日志采集实时数据分析功能
功能介绍(python模拟产生日志,flume采集日志文件更新【一分钟一更新】,作为kafka的生产者连接存入topic,idea编写kafka消费者消费数据,消费的同时存储至hbase)步骤1.编写python日志产生程序generatorLog.py2.定时调用py执行日志产生定时运行程序crontab -e*/1 * * * * /home/hadoop/project/s...原创 2019-12-02 15:47:34 · 1349 阅读 · 2 评论 -
kafka单机重启topic丢失问题解决
这个问题,在线上集群环境一般不容易出现,因为相关的日志文件参数都已经配置好了,而且经受住时间的的验证了。作为新手,我在本地配置了一个单机kafka,用得是kafka自带的zookeeper服务。kafka安装很简单如下:1).下载kafka:wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz2) 解压:...转载 2019-12-02 13:48:03 · 1726 阅读 · 0 评论 -
Kafka Streams实现简单的数据清洗
一、 Kafka StreamsKafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易于使用的库。用于在Kafka上构建高可分布式、拓展性,容错的应用程序。1.1 Kafka Streams特点1)功能强大高扩展性,弹性,容错2)轻量级无需专门的集群一个库,而不是框架3)完全集成100%的Kafka 0.10.0版本兼容易于集成到现有的应...原创 2019-11-14 09:16:14 · 519 阅读 · 0 评论 -
本机连不上虚拟机的kafka(最全解决方案)
第一步:修改虚拟机相关配置,打开2181 9092的端口,并关闭防火墙防火墙(root)systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动systemctl status firewalld.service #查看firewall的状态打开相关端口(...原创 2019-11-13 14:38:07 · 3234 阅读 · 0 评论 -
消息队列Kafka、ActiveMQ、RabbitMQ、RocketMQ 区别以及高可用原理
为什么使用消息队列 其实就是问问你消息队列都有哪些使用场景,然后你项目里具体是什么场景,说说你在这个场景里用消息队列是什么? 面试官问你这个问题,期望的一个回答是说,你们公司有个什么业务场景,这个业务场景有个什么技术挑战,如果不用 MQ 可能会很麻烦,但是你现在用了 MQ 之后带给了你很多的好处。 先说一下消息队列常见的使用场景吧,其实场景有很多,但是比较核心的有 3 个:解...转载 2019-11-08 18:42:10 · 188 阅读 · 0 评论 -
中间件技术与构件技术
引言 网络计算带领软件产业进入了一个新的时代,商机无限,但同时挑战也无限。以电子商务为代表的技术潮流正将大到企业计算、小到个人数字代理的各种应用,在世界范围内联结起来,软件制造业正面临着一些新的课题,如复杂的分布环境、灵活的应用模式、广泛的包容性等,传统的软件设计思想已远远不够。 在这一背景下,构件技...转载 2018-10-09 16:44:44 · 425 阅读 · 0 评论 -
中间件--控制网关(java)
什么是网关?为什么需要使用网关?如图所示,在不使用网关的情况下,我们的服务是直接暴露给服务调用方。当调用方增多,势必需要添加定制化访问权限、校验等逻辑。当添加API网关后,在第三方调用端和服务提供方之间就创建了一面墙,这面墙直接与调用方通信进行权限控制。本文所实现的网关源码抄袭了---Oh,不对,是...转载 2019-07-17 10:27:25 · 1087 阅读 · 3 评论 -
玩转消息中间件(ActiveMQ)
情景引入小白:起床起床起床起床。。。。快起床~我:怎么了又,大惊小怪,吓到我了。小白:我有事有事想找你,十万火急呢~~我:你能有什么事?反正我不信。。那你说说看~~小白:就是我有两个小表弟,叫大白和二白,他们现在每天睡觉之前都要分别和我聊天,让我给他们讲故事,如果不讲他们就不睡觉。但是,如果一个个的跟他们轮流来说的话,我就需要每天说两遍,而且我还要找准他们的时间点,这个有时候我有...转载 2019-09-27 09:58:22 · 130 阅读 · 0 评论