![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据相关
文章平均质量分 94
颖波
简单的美
展开
-
基于从日志中截取数据推送阿里云数据总线(DataHub)
前言公司做的是IOT智能家居产品,最近需要做大数据分析的平台开发。部分定义的元数据需要从后台日志中截取(使用Logstash),然后推送到DataHub(阿里云的数据总线),DataHub再流转到OTS(阿里云的数据表格)。本文主要介绍日志的格式化定义以及如何进行Logstash的配置。原生logstash 的安装使用可以参考前文:利用logstash截取日志中的数据并推送至Kafka不同版本的logstash官方使用说明:logstash官网后台日志格式化约定【强制】使用SLF4J定义变原创 2020-08-19 15:42:41 · 718 阅读 · 0 评论 -
利用logstash截取日志中的数据并推送至Kafka
这里写自定义目录标题前言logstash 安装kafka 安装关闭防火墙启动zk与kafka配置logstash启动logstash测试前言接到任务是,需要从web日志中取出设备的操作信息,并推送kafka。领导要求使用logstash,要评估技术可行性。我这边就在自己的机器上,逐步安装logstash,kafka并进行相关的调试安装与试运行。附我们日志的数据案例:2020-06-09 09:44:32,852 [http-nio-8088-exec-3] 13517 INFO - method原创 2020-06-10 15:38:43 · 3689 阅读 · 0 评论 -
Centos5.6下利用Ambari搭建Hadoop集群(Hotonworks框架)
主要讨论在Centos5.6下通过Ambari进行Hadoop集群的安装(基于Hotonworks框架)原创 2015-02-12 17:07:40 · 2335 阅读 · 0 评论