大数据
sam-123
这个作者很懒,什么都没留下…
展开
-
搭建elasticsearch集群
es集群配置原创 2022-07-19 10:14:17 · 379 阅读 · 1 评论 -
storm高可用及容错性初级
在大数据处理框架中,高可用或者说容错性是很重要的。1、进程级别容错1)worker挂掉,supervisor会重启它。如果它一直重启失败导致无法发送心跳给nimbus,nimbus就会把它分配到别的机器上面2)如果一个机器挂掉了A、如果上面运行的是worker或者task:nimbus无法接收到worker或者说是task心跳。worker会把他们重新分配到别的机器上B、如果上面运行的是nimbu...原创 2018-06-02 17:24:57 · 831 阅读 · 0 评论 -
storm和spark streaming 区别
1、区别:spark streaming不是真正的流处理框架,虽然也可以用作流处理框架,但是它的数据不是实时的,而是分段的,也就是你要定义进入数据的时间间隔;而storm是真正实时的。2、优缺点:spark streaming的优点是能和spark其他项目结合,做全家桶。缺点是存在延时(延时时间可以设置),如果需要实时的就使用storm。storm的缺点是如果要进行后续的操作(例如机器学习),数据...原创 2018-06-03 00:08:31 · 5062 阅读 · 0 评论 -
storm 学习杂记
1、在本地环境里面,相同的topology可以重复提交,到了生产环境就不行原创 2018-07-06 20:10:10 · 978 阅读 · 0 评论 -
kafka应用之路
1、在技术选型上,为什么要使用kafka,不使用rocketmq?kafka是分布式日志存储系统2、介绍kafka3、kafka安装4、kafka使用(kafka的实践)原创 2018-07-06 20:56:13 · 1522 阅读 · 0 评论 -
elasticsearch which: no java in (/sbin:/bin:/usr/sbin:/usr/bin) Could not find any executable java
which: no java in (/sbin:/bin:/usr/sbin:/usr/bin)Could not find any executable java binary. Please install java in your PATH or set JAVA_HOMEelasticsearch 必须要要用非root用户启动,所以新建了一个elasticsearch用户才能启动,(默认...原创 2018-07-05 16:11:37 · 9595 阅读 · 3 评论