大数据
文章平均质量分 52
Hadoop生态记录
Jeremy_1022
主营Java但不限于,热爱研究新鲜事物、喜欢记录点点
展开
-
基于ELK日志收集
ELK:通常是指ES + Logstash + Kibana 咱们这里根据线上使用的ES情况,选择了cerebro替换Kibana。未加 filter 输出到es中的格式如下: 注意message格式。5.编写logstash配置脚本(ruby语言)剔除message后的配置格式如下。下面是自己搭建本地环境进行演示。6.启动logstash。原创 2024-06-23 13:06:16 · 338 阅读 · 0 评论 -
阿里云ESC搭建hadoop集群
阿里云ESC搭建hadoop集群 前置 购买至少三台服务器,为了节约成本借了两个账号买了三台同一区域的服务器,安装的是 centos7;因此设计到不同账号相同地域之间通讯问题,阿里给了解决方案,详情参考: 云企网 在目录000-ESC上会整理一版,ESC相关配置和使用的文档,主要是我这边配置的时候用到的坑吧 当然可以通过询问客服,提交工单(比较耗时,大概三个小时左右才会回复)的方式解决 集群相关信息 节点 私网ip 公网ip 用户名-密码 node001 1.非.原创 2020-09-04 15:31:18 · 8391 阅读 · 0 评论