![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
ysjh0014
QQ:3463446481
展开
-
Storm集群部署详解
1.集群规划cdh0 storm zookeepercdh1 storm zookeepercdh2 storm zookeeper2.基础环境搭建jdk7+python2.6.6+3.配置文件的修改storm-env.shexport JAVA_HOME=你自己的jdk的目录storm.yamlstorm.zookee...原创 2018-11-09 20:01:50 · 303 阅读 · 0 评论 -
Storm整合HBase
跟之前Storm整合的一样,这里直接放代码了package cn.ysjh.drpc;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.hbase.bolt.HBaseBolt;import org.apache.storm.hbase.bolt....原创 2018-11-21 15:58:04 · 356 阅读 · 0 评论 -
Storm整合HDFS
实现功能:将一个特定数组中的数据每隔0.2秒随机取出一个然后将这些数据实时的写入到HDFS中实现代码:package cn.ysjh.drpc;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.hdfs.bolt.HdfsBolt;impo...原创 2018-11-16 11:18:32 · 371 阅读 · 0 评论 -
Storm整合JDBC
实现功能:将前面整合Redis的一样,只不过是将结果写入到Mysql数据库中运行环境跟前面的案例一样,只需要加上storm-jdbc的依赖包即可<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-jdbc</artifactI...原创 2018-11-16 10:45:27 · 694 阅读 · 0 评论 -
Storm本地模式下的DRPC开发
根据官方文档Local DRPC模式开发可以很容易的写出代码下面是我运行过的代码:package cn.ysjh.drpc;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.LocalDRPC;import org.apache.storm.dr...原创 2018-11-14 20:57:28 · 1639 阅读 · 0 评论 -
Storm中的DRPC简单概述
前边我们基Hadoop实现了RPC,下面将一下Storm中的DRPCDRPC:分布式RPC,Storm中的DRPC是使用Storm实时并行计算真正强大的函数,Storm拓扑作为输入接收函数参数流,并为每个函数调用发出结果的输出流DRPC不是Storm的一个特征,因为它是Storm的streams spouts bolts和topologies表示的模式,DRPC本可以打包成Storm独立的...原创 2018-11-14 20:21:56 · 916 阅读 · 0 评论 -
基于Hadoop的RPC原理实现
上一篇文章简单的讲解了一下RPC的概念和原理简单来说就是一台机器上的应用想调用另一台机器上的函数或者方法,由于不在同一个内存空间中,所以不能直接调用,要使用RPC协议来调用下边就来基于Hadoop来实现RPC调用1.加入Hadoop的依赖包<repositories> <repository> <id>cloudera<...原创 2018-11-14 19:55:10 · 1945 阅读 · 0 评论 -
Storm案例之自增数字求和
1.案例需求实现自增数字相加的和 1+2+3+4+5+6+........2.需求分析Spout来发送数字作为input使用Bolt来实现求和逻辑将结果输出到控制台3.导入Storm的pom依赖<dependency> <groupId>org.apache.storm</groupId> <artif...原创 2018-11-12 21:05:43 · 209 阅读 · 0 评论 -
RPC原理简介
什么是RPC百度百科介绍:RPC(Remote Procedure Call)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易RPC采用客户机/服务器模式...原创 2018-11-14 15:47:21 · 159 阅读 · 0 评论 -
Storm中并行度概念简介
当我们处理的数据量越来越大的时候,很少的节点处理起来就会变得困难,我们能想到的办法就是增加节点数,但是增加服务器节点有许多的限制,并不是首选方法,首选发放是增加Storm程序的并行度,进行代码的优化而并行度是要配置多个地方的,比如Work Executor Task,这三个之间又是互相影响的 一个运行的Topology就是由集群中多台物理机上的多个worker进程组成...原创 2018-11-14 14:10:46 · 246 阅读 · 0 评论 -
Storm核心概念
简单讲解:Topology:计算拓扑,由Spouts和Bolts组成,将整个流程串起来Stream:流,数据流,水流,是一个抽象概念,由没有边界的Tuple组成Spout:产生数据/水的东西,消息流的源头,Topology的消息生产者Bolt:处理数据/水的东西 水壶/水桶,消息处理单元,可以做过滤,聚合,查询/写数据库等操作Tuple:数据/水,传递的基本单元...原创 2018-11-12 16:38:34 · 278 阅读 · 0 评论 -
Storm案例之词频统计
1.案例需求在本地模式下使用Storm实现统计指定文件中的词频个数统计2.需求分析Spout来读取指定文件的数据,并把每一行数据发送出去Bolt来实现具体逻辑,单词分割和统计将结果输出到控制台Spout——>Bolt——>Bolt3.导入Storm的依赖,在上一篇求和案例中有这个依赖,这里就不再重复了4.具体代码package cn.ysjh;...原创 2018-11-14 10:59:51 · 2704 阅读 · 0 评论 -
Storm整合Redis
实现功能:将之前的词频统计案例改编,将一个数组中的数据每隔1秒取出一个,通过Storm的Topology处理之后写入到Redis中首先要记得导入pom依赖<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-redis</art...原创 2018-11-15 20:23:00 · 1019 阅读 · 0 评论 -
Storm单机版部署及讲解
1.部署前环境jdk7+python2.6.6+zookeeper(这里的单机版使用Storm自带的zookeeper)2.下载Storm压缩包,上传解压3.修改conf目录下的storm-env.shexport JAVA_HOME=你自己的jdk所在位置的目录4.启动Storm 1)在Storm目录下执行bin/storm就可以看到很多详细的命令 2...原创 2018-11-08 21:17:37 · 1408 阅读 · 0 评论 -
Storm初识
Storm官方网站: http://storm.apache.org/Github地址: https://github.com/apache/storm1.Storm是什么Apache Storm是一个免费的开源分布式实时计算系统,是由Twitter产生的,Storm可以轻松可靠地处理无限数据流,实现Hadoop对批处理所做的实时处理...原创 2018-11-08 19:53:48 · 116 阅读 · 0 评论 -
Storm的容错性(可靠性)
1.Worker挂掉当worker挂掉,supervisor将会重新启动它,如果supervisor启动连续失败并且无法对Nimbus进行心跳,Nimbus将会在其他机器上重新安排worker2.节点挂掉如果节点机器挂掉,分配给该机器的任务将超时,Nimbus会将这些任务重新分配给其他机器3.Nimbus或者Supervisor守护进程挂掉Nimbus和Supervisor守护...原创 2018-11-21 19:35:40 · 389 阅读 · 0 评论