[老达笔记]Storm
Ginoy
这个作者很懒,什么都没留下…
展开
-
STORM入门之(集成KafkaBolt)
根据第一篇文章:STORM入门之(Topology简易Demo)进行扩展集成KafkaSTORM入门之(集成KAFKA)传送门:http://blog.csdn.net/yl3395017/article/details/77449275新增Bolt:package com.storm.bolt;import java.util.Map;import org.apache.stor原创 2017-08-21 17:11:25 · 965 阅读 · 0 评论 -
STORM入门之(Stream Groupings分组方式)
Stream GroupingsStream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型1. 随机分组(Shuffle grouping)随机分发tuple到Bolt的任务,保证每个任务获得相等数量的tuple。2. 字段分组(Fields grouping)根据指定字段分割数据流,并分组。例如,根据“原创 2017-08-02 15:42:09 · 2002 阅读 · 0 评论 -
STORM入门之(TridentAPI,Aggregation)
基本介绍Aggregation是Trident的基本基本api 主要作用是聚合,如下聚合方法作用是记录单词出现的次数package com.storm.trident;import org.apache.storm.shade.org.apache.commons.exec.util.MapUtils;import org.apache.storm.trident.operation.原创 2017-09-01 12:44:25 · 898 阅读 · 0 评论 -
STORM入门之(TridentAPI,partition)
partitionAggregatepartitionAggregate 会在一批 tuple 的每个分区上执行一个指定的功能操作。以下面这段代码为例:mystream.partitionAggregate(new Fields("b"), new Sum(), new Fields("sum"))假如输入流中包含有 “a”、“b” 两个域并且有以下几个 tuple 块:原创 2017-09-20 13:05:19 · 474 阅读 · 0 评论 -
STORM入门之(集成HDFS)
总体Storm集成hdfs需要做前期工作1.hadoop单机版安装2.自己写hdfs demo 查看是否写入成功首先让我们来安装hadoop 版本:hadoop-native-64-2.6.0.tarjdk:1.7Hadoop部分(1)hadoop配置文件修改core-site.xml hadoop.tmp.di原创 2017-11-14 13:58:37 · 904 阅读 · 0 评论 -
STORM入门之(HIVE集成架构)
集成方式 hivebolt注意事项版本误差会导致乱七八糟各种找不到,未定义异常 找起来很头疼 hive版本2.1.1 storm版本1.0.5 hadoop版本2.6.5在windows跑local模式连接linux hive会出现unix验证类找不到,这个是rt.jar中的class,只有liunx版本才会有,所以windows跑程序的时候,要安装本地的hive,这块需要注意一下import ...原创 2018-05-24 08:28:44 · 1316 阅读 · 0 评论 -
STORM入门之(Trident杂记)
Trident杂记练习Demo练习:newStream创建新流体,each集成函数,过滤器,分发操作(shuffer等),patition分区聚合package com.neusoft.soc.topology;import java.util.HashMap;import java.util.Map;import org.apache.storm.Config;impor...原创 2018-11-06 16:21:49 · 210 阅读 · 0 评论 -
Trident Mark
import java.util.HashMap;import java.util.Map;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology;import org.apache.storm.trident...原创 2018-11-14 14:41:59 · 220 阅读 · 0 评论 -
STORM入门之(Trident集成Hbase)
Trident方式集成Hbase(1)测试时需要配置hbase正确的hostwin:C:\Windows\System32\drivers\etc\hostsliunx:/etc/hosts(2)Trident实现import java.util.HashMap;import java.util.Map;import org.apache.hadoop.conf.Con...原创 2018-11-19 14:11:01 · 417 阅读 · 0 评论 -
STORM入门之(TridentAPI,Each)
1.基础基础Topology与TritentTopology是不同的,就相当于JDBC VS Hibernate ,Hibernate是基于JDBC实现的ORM架构,二者本质是相同的,但是用法截然不同,Trident会抽象一些,不过底层也是基于Topology的Spout,Bolt等基础来构建,并且最终提交任务时,TritentTopology是会转换成Topology。Each相当于把Sp原创 2017-08-31 16:39:14 · 747 阅读 · 0 评论 -
STORM入门之(基本Shell命令)
动态设置拓扑的并发度 Storm支持在不重启topology的情况下,动态的改变(增减)worker process的数目和executor的数目,称为rebalancing。有两种方式可以实现拓扑的再平衡:(1)使用Storm Web UI(2)使用Storm rebalance命令(推荐使用)使用命令行的方式如下: # 重新配置拓扑# "topoName" 拓扑使用原创 2017-06-26 08:45:45 · 1494 阅读 · 0 评论 -
STORM入门之(集成KafkaSpout)
此篇基于原有两篇文章基础上扩展STORM入门之(集成KafkaBolt) 传送门:http://blog.csdn.net/yl3395017/article/details/77452604KafkaSpout更新主要是构建KafkaSpout基本配置操作/** * 构建KafkaSpout */ private static void bui原创 2017-08-22 11:17:16 · 2235 阅读 · 2 评论 -
STORM入门之(TridentTopology集成Kafka)
基本前几篇文章是StormTopology集成Kafka 是Storm基本入门知识 传送门:http://blog.csdn.net/yl3395017/article/details/77477716这篇介绍TridentTopology集成Kafka 话不多说 上代码Topology构建package com.storm.topology;import com.storm.原创 2017-09-04 09:28:19 · 782 阅读 · 0 评论 -
STORM入门之(Flume Kafka集成架构)
FlumeFlume作用:收集日志组件下载地址:http://archive.apache.org/dist/flume/1.6.0/ 版本:1.6.0以上集成KafkaFlume配置a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = syslogudpa1.sources.r1.po原创 2017-08-25 17:01:42 · 597 阅读 · 0 评论 -
STORM入门之(集成ElasticSearch)
本片文章基于本专题Demo进行 传送门:http://blog.csdn.net/column/details/17004.html由于Storm集成ES过于陈旧,所以会照成连接ES客户端抛出node不可用异常,ES集群搭建为2.4.1版本 所以无论如何连接都是node不可用,解决方法修改Storm源码。主要修改源码的连接ES部分,构建集群客户端,修正文件4个 如图:修原创 2017-08-23 09:26:35 · 5107 阅读 · 10 评论 -
STORM入门之(集成Redis)
首先需要Redis工具类,自己写了一个简易的源码地址:http://blog.csdn.net/yl3395017/article/details/76172598测试数据 KEY:test VALUE:worldPOM org.apache.storm storm-redis 1.0.0原创 2017-08-23 15:05:30 · 2253 阅读 · 0 评论 -
STORM入门之(Worker、Executor、Task之间的关系)
storm中worker、executor、task之间的关系理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系先来看一张图 (图片来自:http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_superv转载 2017-08-28 10:15:17 · 506 阅读 · 0 评论 -
STORM入门之(Topology简易Demo)
maven配置 org.apache.storm storm-core 1.0.0Topologypackage com.storm.topology;import com.storm.bolt.BoltA;import com.storm.spout.SpoutA;import org.apache.storm.Config;import or原创 2017-08-21 14:24:14 · 2023 阅读 · 0 评论 -
STORM入门之(yaml配置文件说明)
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集群运行模式([distribut转载 2017-09-18 09:13:12 · 1100 阅读 · 0 评论 -
STORM入门之(TridentState以及聚合函数细节描述)
(一)Aggregator函数是batch聚合,最好与groupBy分组联合使用,意思为根据具体的fields进行聚合,如果是分词那么就是根据具体的单词进行聚合,相同的单词聚合到一起,聚合并发单词的数量使用parallelismHint才可生效,否则永远都进行全聚合生效方式.partitionBy(new Fields("word")) //分区.each(new Fields("wo...原创 2018-12-10 17:16:56 · 553 阅读 · 0 评论