ES-Hadoop学习笔记-Storm交互

最新推荐文章于 2021-05-19 11:14:17 发布
最新推荐文章于 2021-05-19 11:14:17 发布
阅读量3.5k 收藏
点赞数
分类专栏： ES-Hadoop Storm 文章标签： storm elasticsearch hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fighting_one_piece/article/details/52228641
版权

elasticsearch-hadoop提供ElasticSearch与Apache Storm的集成支持。从ElasticSearch读取的数据是以Storm里Tuple的形式进行操作处理。

依赖版本信息：

<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-core</artifactId>
<version>1.0.1</version>
</dependency>

<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-starter</artifactId>
<version>1.0.1</version>
</dependency>

<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-hdfs</artifactId>
<version>1.0.1</version>
</dependency>

<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka</artifactId>
<version>1.0.1</version>
</dependency>

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.10</artifactId>
<version>0.10.0.0</version>
</dependency>

<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch-hadoop</artifactId>
<version>2.3.2</version>
</dependency>


Strom的extlib目录下jar包



import java.util.Map;

import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;

public class HandleBolt extends BaseRichBolt {

	private static final long serialVersionUID = 1L;

	private OutputCollector collector = null;
	
	@SuppressWarnings("rawtypes")
	@Override
	public void prepare(Map stormConf, TopologyContext context,
			OutputCollector collector) {
		this.collector = collector;
	}

	@Override
	public void execute(Tuple input) {
		String name = "NA";
		if (input.contains("name")) {
			name = input.getStringByField("name");
		}
		String phone = "NA";
		if (input.contains("phone")) {
			phone = input.getStringByField("phone");
		}
		String rcall = "NA";
		if (input.contains("rcall")) {
			rcall = input.getStringByField("rcall");
			rcall = null == rcall || "null".equals(rcall) ? "NA" : rcall;
		}
		String address = "NA";
		if (input.contains("address")) {
			address = input.getStringByField("address");
			address = null == address || "null".equals(address) ? "NA" : address;
		}
		String email = "NA";
		if (input.contains("email")) {
			email = input.getStringByField("email");
			email = null == email || "null".equals(email) ? "NA" : email;
		}
		String idCard = "NA";
		if (input.contains("idCard")) {
			idCard = input.getStringByField("idCard");
			idCard = null == idCard || "null".equals(idCard) ? "NA" : idCard;
		}
		this.collector.emit(new Values(name, phone, rcall, address, email, idCard));
		this.collector.ack(input);
	}

	@Override
	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		declarer.declare(new Fields("name", "phone", "rcal", "address", "email", "idCard"));
	}

}

import java.util.HashMap;
import java.util.Map;

import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.StormSubmitter;
import org.apache.storm.hdfs.bolt.HdfsBolt;
import org.apache.storm.hdfs.bolt.format.DefaultFileNameFormat;
import org.apache.storm.hdfs.bolt.format.DelimitedRecordFormat;
import org.apache.storm.hdfs.bolt.format.FileNameFormat;
import org.apache.storm.hdfs.bolt.format.RecordFormat;
import org.apache.storm.hdfs.bolt.rotation.FileRotationPolicy;
import org.apache.storm.hdfs.bolt.rotation.TimedRotationPolicy;
import org.apache.storm.hdfs.bolt.rotation.TimedRotationPolicy.TimeUnit;
import org.apache.storm.hdfs.bolt.sync.CountSyncPolicy;
import org.apache.storm.hdfs.bolt.sync.SyncPolicy;
import org.apache.storm.starter.bolt.PrinterBolt;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.utils.Utils;

public class ES2StormTopology {

	private static final String TOPOLOGY_NAME = "es-storm-topology";
	
	public static void main(String[] args) {
		if (args.length != 1) {
			System.exit(0);
		}
		boolean isCluster = Boolean.parseBoolean(args[0]);
		
		TopologyBuilder builder = new TopologyBuilder();
		String target = "operator/telecom";
		String query = "?q=*";
		Map<Object, Object> configuration = new HashMap<Object, Object>();
		configuration.put("es.nodes", "192.168.10.20:9200");
		configuration.put("es.read.field.include", "name,phone,rcall,email,idCard,zipCode,address");
		configuration.put("es.storm.spout.fields", "name,phone,rcall,email,idCard,zipCode,address");
		builder.setSpout("es-storm-spout", new ESSpout(target, query, configuration), 1);
		
		builder.setBolt("storm-print-bolt", new PrinterBolt()).shuffleGrouping("es-storm-spout");
		
		builder.setBolt("storm-handle-bolt", new HandleBolt()).shuffleGrouping("es-storm-spout");
		
		RecordFormat recordFormat = new DelimitedRecordFormat().withFieldDelimiter(":");
		SyncPolicy syncPolicy = new CountSyncPolicy(10);
		FileRotationPolicy fileRotationPolicy = new TimedRotationPolicy(1.0f, TimeUnit.MINUTES);
		FileNameFormat fileNameFormat = new DefaultFileNameFormat().withPath("/storm/")
				.withPrefix("es_").withExtension(".log");
		HdfsBolt hdfsBolt = new HdfsBolt().withFsUrl("hdfs://centos.host1:9000")
				.withFileNameFormat(fileNameFormat).withRecordFormat(recordFormat)
				.withRotationPolicy(fileRotationPolicy).withSyncPolicy(syncPolicy);
		builder.setBolt("storm-hdfs-bolt", hdfsBolt).globalGrouping("storm-handle-bolt");
		
		Config config = new Config();
		config.setDebug(true);
		if (isCluster) {
			try {
				config.setNumWorkers(3);
				StormSubmitter.submitTopologyWithProgressBar(
						TOPOLOGY_NAME, config, builder.createTopology());
			} catch (Exception e) {
				e.printStackTrace();
			}
		} else {
			LocalCluster cluster = new LocalCluster();
			cluster.submitTopology(TOPOLOGY_NAME, config, builder.createTopology());
			Utils.sleep(100000);
			cluster.killTopology(TOPOLOGY_NAME);
			cluster.shutdown();
		}
		
	}
	
}


注意：elasticsearch-hadoop里的EsSpout类用到的Storm版本过低，所以重写了一个ESSpout替换旧版本Storm的API。


$bin/storm jar /home/hadoop/Documents/esstorm-0.0.1-SNAPSHOT.jar org.platform.storm.elasticsearch.ES2StormTopology false


import java.util.HashMap;
import java.util.Map;

import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.StormSubmitter;
import org.apache.storm.starter.bolt.PrinterBolt;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.utils.Utils;
import org.platform.storm.elasticsearch.bolt.ESBolt;
import org.platform.storm.elasticsearch.spout.ESSpout;

public class Storm2ESTopology {

	private static final String TOPOLOGY_NAME = "storm-es-topology";
	
	public static void main(String[] args) {
		if (args.length != 1) {
			System.exit(0);
		}
		boolean isCluster = Boolean.parseBoolean(args[0]);
		
		TopologyBuilder builder = new TopologyBuilder();
		
		String target = "operator/telecom";
		String query = "?q=*";
		Map<Object, Object> spoutConf = new HashMap<Object, Object>();
		spoutConf.put("es.nodes", "192.168.10.20:9200");
		spoutConf.put("es.read.field.include", "name,phone,rcall,email,idCard,zipCode,address");
		spoutConf.put("es.storm.spout.fields", "name,phone,rcall,email,idCard,zipCode,address");
		builder.setSpout("es-storm-spout", new ESSpout(target, query, spoutConf), 1);
		
		builder.setBolt("storm-print-bolt", new PrinterBolt()).shuffleGrouping("es-storm-spout");
		
		Map<Object, Object> boltConf = new HashMap<Object, Object>();
		boltConf.put("es.nodes", "192.168.10.20:9200");
		boltConf.put("es.index.auto.create", "true");
		boltConf.put("es.ser.writer.bytes.class", "org.platform.storm.elasticsearch.bolt.StormTupleBytesConverter");
		//boltConf.put("es.input.json", "true");
		builder.setBolt("storm-es-bolt", new ESBolt("data/telecom", boltConf))
			.globalGrouping("es-storm-spout");
		
		Config config = new Config();
		config.setDebug(true);
		if (isCluster) {
			try {
				config.setNumWorkers(3);
				StormSubmitter.submitTopologyWithProgressBar(
						TOPOLOGY_NAME, config, builder.createTopology());
			} catch (Exception e) {
				e.printStackTrace();
			}
		} else {
			LocalCluster cluster = new LocalCluster();
			cluster.submitTopology(TOPOLOGY_NAME, config, builder.createTopology());
			Utils.sleep(100000);
			cluster.killTopology(TOPOLOGY_NAME);
			cluster.shutdown();
		}
		
	}
	
}

注意：elasticsearch-hadoop里的EsBolt、StormTupleBytesConverter类用到的Storm版本过低，所以重写了一个ESBolt、StormTupleBytesConverter替换旧版本Storm的API。


$bin/storm jar /home/hadoop/Documents/esstorm-0.0.1-SNAPSHOT.jar org.platform.storm.elasticsearch.Storm2ESTopology false




人生偌只如初见
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据架构师：hadoop与Storm全方位比较，到底选哪一个？
程序之道的博客
03-23 665
首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。 注释： 1. 延时 ， 指数据从产生到运算产生结果的时间，“快”应该主要指这个。 2. 吞吐， 指系统单位时间处理的数据量。...
hadoop、Storm该选哪一个
mys328的专栏
08-12 617
http://blog.csdn.net/bitcarmanlee/article/details/53047984
学习hadoop遇到的问题（记录一次storm启动报错）
小马哥的博客
04-12 191
启动报错 “wike。。。。” 原因（在其他没错的情况下）： 1、没有创建 String zkRoot = "/kafkaspout_offest"; String id = "message_log"; 在zk中实行create /kafkaspout_offestmessage_log 2.版本不兼容 ...
Storm总体交互关系
猪先森
11-16 1071
Storm总体交互图 图来自: 1. Nimbus启动，向zookeeper发送请求，创建并监听以下路径 a. /storm/workerbeats/ 用以保存Worker的运行状态信息.通过node和port来标定一个worker.  初创建时此节点内容为空 b. /storm/storms/ 用以保存topology本身的信息. 包括他的名字, 启动时间,并行度等 c. /s
elasticsearch-hadoop-8.8.0
06-06
- **Hive和Pig支持**：对于使用Hive和Pig进行大数据处理的用户，Elasticsearch-Hadoop提供了适配器，使得这两个工具能与Elasticsearch进行交互。 在"elasticsearch-hadoop-8.8.0"这个版本中，可能包含以下改进和新...
elasticsearch-hadoop-1.2.0.jar
03-12
jar包，官方版本，自测可用
elasticsearch-hadoop-0.17.2.jar
03-12
jar包，官方版本，自测可用
elasticsearch-hadoop-8.5.3.zip
01-24
总之，Elasticsearch-Hadoop 8.5.3是大数据生态系统中不可或缺的一部分，它为Hadoop与Elasticsearch之间的数据交互提供了桥梁，帮助用户更好地管理和分析海量数据，提升大数据分析的效率和价值。
elasticsearch-hadoop-6.8.23.zip
05-08
2. **Spark集成**：对于Apache Spark，Elasticsearch-Hadoop提供了一个RDD（弹性分布式数据集）和DataFrame API，使得Spark应用可以直接与Elasticsearch进行交互，进行实时的数据查询和分析。 3. **Hive和Pig支持**...
trident-elasticsearch:ElasticSearch 的 Storm Trident 集成层
06-07
三叉戟弹性搜索 ElasticSearch 的 Storm Trident 集成层
Storm-Kafka-ES:风暴拓扑将风暴与Kafka和Elasticsearch集成
05-13
风暴卡夫卡 风暴拓扑将风暴与Kafka和Elasticsearch集成 该Storm拓扑使用Kafka Spout读取来自Kafka的消息，并使用Bolt将从Kafka读取的传入消息解析为JSON消息。 然后将已解析的JSON消息加载到Elastic搜索中以使用Kibana进行仪表板和分析 该项目的前提条件：Zookeeper安装Kafka Broker Storm安装并启动Nimbus，Supervisor，Logviewer和UI Elastic search Kibana（用于仪表板） 设置：安装完上述工具集后，将maven项目下载到本地工作区中并构建一个jar 执行：风暴罐/Storm-Kafka-ES-Integration/target/StormKafkaESIntegration-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.
ES和HADOOP使用问题和需求
03-21
ES和HADOOP使用问题和需求
Java整合Storm写入ElasticSearch
宝华的小岛
05-19 358
上次写了一个Java整合Storm的一个最简单的例子https://blog.csdn.net/xxkalychen/article/details/117018310，一个数据源，一个处理中间环节，一个最终环节，一个任务拓扑。我们能看到的效果是控制台打印。根据需要，我们要把数据写入ElasticSearch。 我们在原有的项目中做一点小的调整，来实现这个需求。 当然，首先我们需要一个ElasticSearch的服务器。我已经开启了自己架设好的ES服务器，版本号7.12.0 一、pom中添加Ela
hadoop与storm的一点区别
社会化搜索与互联网广告精准推荐
03-06 1万+
本文由larrylgq编写，转载请注明出处：http://blog.csdn.net/larrylgq/article/details/7326058 作者:吕桂强 邮箱：larry.lv.word@gmail.com hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中
Kafka+Storm+Elasticsearch整合实时数据分析实践
随机字符串的专栏
09-04 5397
概述 由于最近一个报文调阅系统的需求，在需求重，可能会涉及到报文数据的清洗落地，数据来源由网络爬虫实现（初步采用python scrapy实现），通过python-kafka发送MQ消息至本系统kafka服务，接收到消息后基于storm的KafkaSpout实现对数据的处理后统一落地至ES，详细流程如下图： 环境准备 由于环境有限，测试环境只提供了一个本地环境，即所有基于集群部署的服务...
通过ES-Hadoop实现Hive读写Elasticsearch数据
Cloud Tech的博客
09-30 2075
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Ela
Kafka+Storm+ElasticSearch
CCJHDOPC的专栏:
01-26 1988
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search Published on Nov 29, 2013 This is a technical architect's case study of how Loggly has employed the latest social-media-scale
ES-Hadoop学习笔记-初识
热门推荐
PURSUE ONE PIECE
06-27 1万+
ES-Hadoop是连接快速查询和大数据分析的桥梁，它能够无间隙的在Hadoop和ElasticSearch上移动数据。ES Hadoop索引Hadoop数据到Elasticsearch，充分利用其查询速度，大量聚合能力来使它比以往更快，同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件，比如Spark、Hive、Pig、
Elasticsearch-hadoop
最新发布
04-12
Elasticsearch-hadoop是一个开源的软件库，它提供了将Elasticsearch和Hadoop生态系统集成在一起的功能。它允许在Hadoop集群中使用Elasticsearch作为数据源和目标，以便进行大规模数据处理和分析。 Elasticsearch-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值