大数据-storm
文章平均质量分 88
夏天小厨
努力再努力
展开
-
storm整合hdfs—将数据写到hdfs
最近由于业务需求,需要将数据经过storm实时处理加工之后,要转存到HDFS。小厨在实现业务之前首先写了一个测试用例,话不多说,直接上干货。。。首先介绍一下用例业务中使用的软件版本:storm 1.1.0、 hadoop 2.6.5、zookeeper3.4.10;使用maven构建项目。再简单的介绍一下测试用例业务场景:发送手机名称,即通过产生随机数的方式在数组中源源不断的选取要发送的手机信...原创 2018-11-06 11:09:21 · 3701 阅读 · 1 评论 -
storm整合hdfs—从hdfs读取数据(一)
在做这个实验之前,查看了官方文档的demo以及【Gpwner的博客】,在他的博客里找到了很多灵感,感谢前人的无私奉献。利用storm从hdfs读取数据,这个做法很少,就连官网给出的demo也少的可怜,众人拾柴火焰高,今天小厨也来添一把柴火,po出自己写的一个小demo,要读的数据正是上一篇博文《storm整合hdfs—将数据写到hdfs》产生的手机型号+日期后缀的数据,此次的业务逻辑就是利用s...原创 2018-11-08 11:42:21 · 2762 阅读 · 2 评论 -
Storm-1.2.2介绍及完全分布式安装
目录1 Storm是什么2 Storm的核心概念3 Storm原理架构4 Storm集群安装部署4.1 下载Storm 1.2.24.2 解压,更改配置文件4.3 将配置好的节点分发到两个从节点上5 启动storm集群及web监控1 Storm是什么Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。Storm是Twi...原创 2018-11-27 18:27:18 · 1839 阅读 · 1 评论 -
Storm整合Hdfs—从hdfs读取数据(二)
小厨上次写过一次利用Storm从hdfs读取数据,但是效果非常不好,例如只能读取一次文件,无法控制读文件的次数。如下图所示:::因此,在这里,小厨利用第二种方法读取hdfs数据。需求:1、可以连续的读整个文件夹下面的内容;2、读完最后一个文件之后,退出Topo整个代码1:编写程序入口package com.bigdata.storm;import org.apache.sto...原创 2018-11-27 19:09:35 · 1611 阅读 · 0 评论