storm
文章平均质量分 52
chengqiuming
这个作者很懒,什么都没留下…
展开
-
商品订单频繁项集生成订单数据
一 需求生成30个订单,每个订单有4件商品,将订单数据存放到Redis数据库。二 代码OrderGeneratorpackage com.hust.grid.leesf.ordertest.common;import java.util.HashSet;import java.util.Random;import java.util.Set;import java.u原创 2018-01-21 09:29:52 · 1259 阅读 · 0 评论 -
商品订单频繁项集详细设计
一 拓扑结构图二 实现步骤1.产生订单数据通过模拟程序产生订单数据,并存储Redis中,即使用OrderGenerator来生成订单数据并存入Redis中,每个订单有四种不同商品及其数量组成。2. 接入订单数据通过OrderSpout读取Redis中的订单数据,以供拓扑结构下游的Bolt使用。3. 对订单中商品进行分组通过SplitBolt对订单中的商品进行原创 2018-01-14 20:10:35 · 537 阅读 · 0 评论 -
商品订单频繁项集Toplogy实现
一 代码实现package com.hust.grid.leesf.ordertest.bolt;import java.util.HashMap;import java.util.Map;import com.hust.grid.leesf.ordertest.common.ConfKeys;import com.hust.grid.leesf.ordertest.common.原创 2018-01-22 21:37:59 · 327 阅读 · 0 评论 -
storm发展历史
一 Storm发展历史二 Storm的历史版本原创 2018-01-05 18:55:34 · 1456 阅读 · 0 评论 -
Storm相关术语
相关术语原创 2018-01-05 19:09:41 · 289 阅读 · 0 评论 -
storm原理架构
一 storm集群架构图二 数据处理流程图三 拓扑图原创 2018-01-05 19:55:07 · 284 阅读 · 0 评论 -
Storm主要特点
主要特点原创 2018-01-05 20:05:24 · 1765 阅读 · 0 评论 -
Storm 的扩展:与 YARN 的结合
一 关于YQRN二 Storm与Yarn结合优势三 当前存在问题原创 2018-01-05 20:19:43 · 2010 阅读 · 0 评论 -
Storm 的现状与发展趋势
一 Storm的应用场景二 实时处理相关系统架构三 Storm与Hadoop的对比四 Storm发展趋势原创 2018-01-05 20:35:14 · 1580 阅读 · 0 评论 -
Storm 集群环境准备及部署
一 部署Storm集群的环境准备二 Storm集群部署的主要步骤三 集群部署注意事项原创 2018-01-05 21:09:33 · 391 阅读 · 0 评论 -
Storm集群中安装python
一 下载python[root@slave2 opt]# wget https://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz二 解压压缩包[root@slave2 opt]#tar -zxvf Python-2.7.2.tgz三 配置python[root@master Python-2.7.2]# ./configure原创 2018-01-06 09:39:54 · 921 阅读 · 0 评论 -
Storm 集群部署
一 Storm安装流程二 集群规划master:运行nimbusslave1:运行supervisorslave2:运行supervisor三 Storm安装实战1 下载安装包[root@master opt]# wget http://archive.apache.org/dist/storm/apache-storm-0.9.2-incubating原创 2018-01-06 11:42:42 · 352 阅读 · 0 评论 -
Storm概述
一 Storm要学习什么1 分清流式计算与批量计算各自的适用场景2 学会storm开发流式计算程序3 知道流式计算中时效性和正确性的取舍二 什么是Apache Storm开源的、分布式、流式计算系统三 什么是分布式把一个任务拆解给多个计算机去执行,对外只提供一个接口四 Google的三篇重要论文Google File System原创 2018-01-06 13:21:19 · 303 阅读 · 0 评论 -
Storm组件
一 Strom主从结构二 主从结构与对称结构主从结构:简单、高效,但主节点存在单点问题对称结构:复杂、效率较低,但无单点问题,更加可靠三 Nimbus组件主节点、只负责整体分配工作,不具体干活,是老板的角色四 Supervisor从节点、直接管理干活的Worker,是小组经理的角色五 Worker真正干活(TASK)的进程原创 2018-01-07 13:13:45 · 398 阅读 · 0 评论 -
Storm基础
一 介绍1 分布式、实时大数据处理系统,是流数据计算框架,高速攫取数据。2 无状态的,通过Zookeeper管理分布式集群的状态。3 可以执行各种数据,实时并行计算。4 Hadoop的实时计算欠缺,storm没有持久化。二 Hadoop和Storm比较storm:实时计算,无状态,基于zk的主从模式,master(nimbus)+slaves(supervisors原创 2018-01-07 20:47:33 · 370 阅读 · 0 评论 -
storm发展历史
一 Storm发展历史二 Storm的历史版本原创 2019-09-30 19:07:15 · 490 阅读 · 0 评论 -
Storm 集群环境准备及部署
一 部署Storm集群的环境准备二 Storm集群部署的主要步骤三 集群部署注意事项原创 2019-09-30 19:07:53 · 404 阅读 · 0 评论 -
商品频繁二项集挖掘方法
一 频繁二项集现实中有许多关联规则挖掘算法,比如最著名的Apriori算法,以及FP-树频集算法,本例介绍关于商品的频繁二项集算法。二 算法设计思路1 将每一笔订单的商品按照两两分组2 对每个分组的频数进行统计3 根据频数计算支持度和置信度4 设置支持度与置信度阈值,过滤不达标的数据三 Apache Storm实现思路1 使用Redis作为存储订单数原创 2018-01-14 19:34:46 · 2345 阅读 · 0 评论 -
数据挖掘概念
一 数据挖掘概念 二 数据挖掘常用分析方法三 关联规则和频繁项集三 应用实例关联规则算法在现实中得到大量应用,其中最著名的就是“啤酒与尿布”的故事。四 参考http://www.jikexueyuan.com/course/1437.html原创 2018-01-14 19:12:06 · 295 阅读 · 0 评论 -
Storm编程相关接口
一 消息源接口二 消息处理单元接口三 Topology接口四参考http://www.jikexueyuan.com/course/1228.html原创 2018-01-14 18:51:46 · 730 阅读 · 0 评论 -
商品订单频繁项集Spout实现
一 需求通过OrderSpout读取Redis中的订单数据,以供拓扑结构下游的Bolt使用。通过CommandSpout实现统计支持度和置信度。二 OrderSpout实现package com.hust.grid.leesf.ordertest.spout;import java.util.Map;import org.json.simple.JSONArray;i原创 2018-01-21 09:53:54 · 291 阅读 · 0 评论 -
商品订单频繁项集Bolt实现
一 设计方案介绍SplitBolt:对订单中的商品进行两两组合并发送PairCountBolt:计算商品对出现的次数PairTotalCountBolt:计算商品对总数SupportComputeBolt:计算商品对的支持度ConfidenceComputeBolt:计算商品对的置信度FilterBolt:过滤符合条件的商品对并存入redis二 SplitBol原创 2018-01-21 11:44:29 · 358 阅读 · 0 评论 -
商品订单频繁项集数据流分析
一 Redis中生成数据ID1 [(商品1,2),(商品2,3),(商品3,4),(商品4,5)]ID2 [(商品2,3),(商品3,3),(商品4,2),(商品5,5)]ID3 [(商品1,2),(商品2,2),(商品3,4),(商品5,1)]二 经过Spolt后1 发射的数据为12条(ID1,商品1,2)(ID1,商品2,3)原创 2018-01-21 11:46:43 · 887 阅读 · 0 评论 -
Storm 实战基础 ——WordCount 实例需求与设计
一 效果展示1、运行命令命令解析:storm jar 程序名 程序运行类 topology命名2、UI查看3、数据生成查看方式4、数据生成结果二 Storm应用实例需求分析三 与hadoop的wordcount实例对比四 Storm的编程模型五 方案及拓扑设计六 参考http://w原创 2018-01-13 10:06:47 · 1036 阅读 · 0 评论 -
Storm的elipse开发环境搭建以及wordcount实例
一 创建Java项目Storm二 引入类库将E:\storm\apache-storm-0.9.2-incubating\lib中的jar包加入项目中三 创建TopApp类import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.generated.原创 2018-01-13 10:47:57 · 431 阅读 · 0 评论 -
Storm的消息队列接入以及多种方式落地实例需求分析和设计
一 实例需求、拓扑扩展二 方案设计三 拓扑设计四参考http://www.jikexueyuan.com/course/1724.html原创 2018-01-13 11:11:27 · 419 阅读 · 0 评论 -
Storm上下级依赖系统的介绍及搭建(MetaQ以及Mysql)
一 消息队列MQ的作用二 MetaQ简介三 MetaQ的安装部署1 依赖于Zookeeper集群,必须先安装Zookeeper2 准备Mta的安装包 metaq-server-1.4.6.2.tar.gz3 解压metaQ[root@master opt]# tar -zvxf metaq-server-1.4.6.2.tar.gz4 配置环境变原创 2018-01-13 13:48:34 · 384 阅读 · 0 评论 -
Storm的消息队列接入以及多种方式落地实例代码实现
一 pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/原创 2018-01-13 17:45:04 · 780 阅读 · 0 评论 -
Storm的消息队列接入以及多种方式落地实例运行
一 启动集群master集群启动后进程查看[root@master ~]# jps7010 Jps2777 ServerStartup2686 QuorumPeerMainslave1集群启动后进程查看[root@slave1 ~]# jps2585 QuorumPeerMain5964 Jpsslave2集群启动后进程查看[root@slave2 ~]# jps原创 2018-01-13 20:12:46 · 672 阅读 · 0 评论 -
元数据管理器
一 什么是元数据二 为何要引入元数据三 实时处理平台任务调度四 参考http://www.jikexueyuan.com/course/2150.html原创 2018-01-13 21:20:21 · 1067 阅读 · 0 评论 -
storm多节点统一配置管理
一 多节点配置相关问题二 几种可行的分布式配置解决方案三 基于Zookeeper的统一配置管理解决方案四 参考http://www.jikexueyuan.com/course/2150.html原创 2018-01-14 09:53:25 · 642 阅读 · 0 评论 -
storm系统监控
一 监控系统的重要性二 系统监控的几大指标三 系统监控的初步解决方案四 参考http://www.jikexueyuan.com/course/2150.html原创 2018-01-14 10:07:25 · 2012 阅读 · 0 评论 -
storm数据总线
一 数据总线的概念二 为何要引入数据总线三 基于MQ的数据总线设计四 参考http://www.jikexueyuan.com/course/2150.html原创 2018-01-14 10:25:18 · 261 阅读 · 0 评论 -
基于 Storm 的基础平台架构
一 基础架构图二 Strom平台的发展方向三 大数据平台思维延伸四参考http://www.jikexueyuan.com/course/2150.html原创 2018-01-14 10:39:16 · 571 阅读 · 0 评论 -
初识Apache Storm
一 Apache Storm是什么二 Apache Storm历史三 Apache Storm核心概念四 Apache Storm计算模型五 Apache Storm优势六 相关术语1 自由软件2 Apache Software Foundation3 分布式计算七 参考http原创 2018-01-14 11:11:26 · 363 阅读 · 0 评论 -
Storm计算模型
一 什么是Storm计算模型1 Storm实时处理系统由以下几个关键概念组成2 拓扑Topology3、消息源Spout4、消息处理单元Bolt5、消息分发策略Stream groupings6、任务Tasks7、工作进程二 各个组件之间的关系结构三 参考http://www.jikexueyuan.com/c原创 2018-01-14 12:57:50 · 606 阅读 · 0 评论 -
Storm组件
一 Strom主从结构二 主从结构与对称结构主从结构:简单、高效,但主节点存在单点问题对称结构:复杂、效率较低,但无单点问题,更加可靠三 Nimbus组件主节点、只负责整体分配工作,不具体干活,是老板的角色四 Supervisor从节点、直接管理干活的Worker,是小组经理的角色五 Worker真正干活(TASK)的进程六 St...原创 2019-09-30 19:08:39 · 158 阅读 · 0 评论