流计算

flink

谈谈我的学习流计算的流事件

1：在脉脉上看到一条消息大致意思说，kafka是流计算中的你大爷还是你大爷

2：然后拿回到了消息队列这个事件上，之前看过gopherc china 中说到了 nsq,然后就什么新什么没听过什么来

就拿mac brew 了一个nsq 然后测了几天，感觉速度没测起来，但是他的那个翻页增信息的na'g额页面挺好看，有点类似某宝的大屏交易量（hhh 善于联想）

3那再往基础回一下就到rabbitmq，技术棧是erlang （没摸过），还是  mac  brew 了一下，跑了下还挺爽，就几万吧，看到了消息的一 推一拉,然后没了，嗯，吃消息的速度挺快的

4那看了下消息队列选型对比，那自然就来 海边的kfk了，最早看他是在之前看hadoop的时候，不过就只是看了盗印的pdf，印象也不深，就记得自己当时什么  vbox新建三台虚拟机，然后就ssh互相信任，然后测试了下hdfs  ，再跑了个自带的wordcount 然后就再没碰过

5.kfk征程，话不多说，就先跑个推 （做饭）拉（吃饭），哇   惊艳   稳定在15到20w的生产消息上，吃了一碗上消息，然后起来，消费变得特别慢，然后就  增加分区，和他的那几个常见参数  问题解决

6  kfk 流计算   怎一个爽字了得

然后就看他的java   stream api（我去就个maven依赖就搞定了 （好惨折腾了真实三天，）），这么快的wordcount（后来知道这是基石也是最经典的了，可以衍生很多，到pv/uv统计，反欺诈，出实时报表），其实就是改变算子（什么分组啊，排序啊，聚合呀）

有个小的建议就是，命令行的可以新建topic，那api自然可以建，围绕这个思路，就可以不被百度前几页的demo所骗了

7应用前景

实时计算，物联网，风控，大屏实时报表，（思路衍生图，数据流，想到水流，水流想到了水库，水库想到了净化等操作（实时计算的算子），    so噶，道法自然，物理相通，）学完给排水，再学流计算的人应该一目了然，（难怪乔帮主练习书法对苹果产品设计有影响）

这些操作就单mac，（想到不能坐井观天，但是也不能妄自菲薄）

 

 

8   嘿嘿kfk 下来自然而然就到了   flink ，太通顺了，顺理成章的通顺

没细细研究，但是看到他的很多的api很好，什么sql啊，表啊，pyflink刚出来，以前跑过，pyspark，就看视频看了看，B站的社区组织的那种视频，高质量，比那些自称培训老师讲的好多了

 

9思路比四维脑图还丰富，什么landam架构   （别被词唬住了，就是 离线结果 整合 实时结果 再发布一层服务）

 

就是 离线 + 实时 +整合结果的服务=landam 架构

 

 

妥了，这些东西整理出来了，就不在脑子里面了，这样就会轻松一些

 

补充流计算+M（机器）L（学习），别想歪了，好害怕，当计算机从 UI  / 工具 的功效（疗效），回到计算和通信的本质上，真有些后怕，除了在商业价值上外，我还是希望多多的提升他的文化和教育价值，就像（呼兰（吐槽大会）说的，我们缺觉，不缺焦虑），不要让大数据，实时计算   算出了大焦虑     跪谢