![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
个人总结
He_Wall
Tony精神
展开
-
deeplog and kafka
猜想选择kafka的原因 为什么使用MQ? 解耦:在deeplog中rsyslog负责采集日志,而它采集到日志如果直接发给日志处理模块,会使得两个模块相互依赖过多,它们需要相互配合解决一些常见的异常情况,如网络、程序异常时怎么恢复数据,负载压力时怎么均衡传输和处理等。这其中一种系统解决这些问题,都会影响单个模块的核心功能,这不利于两个模块核心功能优化和系统稳定,所以需要一个纯粹的模块去降低它们之间的相互依赖,这个纯粹的模块就是MQ,它也因此而产生。 一些开源的MQ组件可以很好的兼容rsyslog,使得r原创 2022-02-10 18:22:35 · 658 阅读 · 0 评论 -
scala sbt资料
sbt的安装以及用sbt编译打包scala编写的spark程序 http://blog.csdn.net/a532672728/article/details/72477591 Linux手动安装sbt步骤 http://blog.csdn.net/wangkai_123456/article/details/53907795 Spark快速入门之SBT安装 http://blog.cs...原创 2018-03-02 22:47:25 · 238 阅读 · 0 评论 -
函数副作用
在计算器科学中,函数副作用指当调用函数时,除了返回函数值之外,还对主调用函数产生附加的影响。例如修改全局变量(函数外的变量)或修改参数。 函数副作用会给程序设计带来不必要的麻烦,给程序带来十分难以查找的错误,并且降低程序的可读性。严格的函数式语言要求函数必须无副作用。 下面是函数的副作用相关的几个概念, 纯函数(Pure Function)、非纯函数(Impure Function)、引用透明...转载 2018-03-04 21:42:14 · 790 阅读 · 0 评论