商品订单频繁项集Toplogy实现

一 代码实现 package com.hust.grid.leesf.ordertest.bolt; import java.util.HashMap; import java.util.Map; import com.hust.grid.leesf.ordertest.common.Con...

2018-01-22 21:37:59

阅读数:75

评论数:0

商品订单频繁项集数据流分析

一 Redis中生成数据 ID1 [(商品1,2),(商品2,3),(商品3,4),(商品4,5)] ID2 [(商品2,3),(商品3,3),(商品4,2),(商品5,5)] ID3 [(商品1,2),(商品2,2),(商品3,4),(商品5,1)] 二 经过...

2018-01-21 11:46:43

阅读数:92

评论数:0

商品订单频繁项集Bolt实现

一 设计方案介绍 SplitBolt:对订单中的商品进行两两组合并发送 PairCountBolt:计算商品对出现的次数 PairTotalCountBolt:计算商品对总数 SupportComputeBolt:计算商品对的支持度 ConfidenceComputeBolt:计算商品对...

2018-01-21 11:44:29

阅读数:87

评论数:0

商品订单频繁项集Spout实现

一 需求 通过OrderSpout读取Redis中的订单数据,以供拓扑结构下游的Bolt使用。 通过CommandSpout实现统计支持度和置信度。 二 OrderSpout实现 package com.hust.grid.leesf.ordertest.spout; import...

2018-01-21 09:53:54

阅读数:60

评论数:0

商品订单频繁项集生成订单数据

一 需求 生成30个订单,每个订单有4件商品,将订单数据存放到Redis数据库。 二 代码OrderGenerator package com.hust.grid.leesf.ordertest.common; import java.util.HashSet; import ja...

2018-01-21 09:29:52

阅读数:210

评论数:0

商品订单频繁项集详细设计

一 拓扑结构图 二 实现步骤 1.产生订单数据 通过模拟程序产生订单数据,并存储Redis中,即使用OrderGenerator来生成订单数据并存入Redis中,每个订单有四种不同商品及其数量组成。 2. 接入订单数据 通过OrderSpout读取Redis中的订单数据,以供...

2018-01-14 20:10:35

阅读数:74

评论数:0

商品频繁二项集挖掘方法

一 频繁二项集 现实中有许多关联规则挖掘算法,比如最著名的Apriori算法,以及FP-树频集算法,本例介绍关于商品的频繁二项集算法。 二 算法设计思路 1 将每一笔订单的商品按照两两分组 2 对每个分组的频数进行统计 3 根据频数计算支持度和置信度 4 设置支持度与置信度阈值...

2018-01-14 19:34:46

阅读数:118

评论数:0

数据挖掘概念

一 数据挖掘概念   二 数据挖掘常用分析方法 三 关联规则和频繁项集 三 应用实例 关联规则算法在现实中得到大量应用,其中最著名的就是“啤酒与尿布”的故事。 四 参考 http://www.jikexueyuan.com/course/143...

2018-01-14 19:12:06

阅读数:86

评论数:0

Storm编程相关接口

一 消息源接口 二 消息处理单元接口 三 Topology接口 四参考 http://www.jikexueyuan.com/course/1228.html

2018-01-14 18:51:46

阅读数:109

评论数:0

Storm计算模型

一 什么是Storm计算模型 1 Storm实时处理系统由以下几个关键概念组成 2 拓扑Topology 3、消息源Spout 4、消息处理单元Bolt 5、消息分发策略Stream groupings 6、任务Tasks 7、工作进程 二 各个...

2018-01-14 12:57:50

阅读数:83

评论数:0

初识Apache Storm

一 Apache Storm是什么 二 Apache Storm历史 三 Apache Storm核心概念 四 Apache Storm计算模型 五 Apache Storm优势 六 相关术语 1 自由软件 2 Ap...

2018-01-14 11:11:26

阅读数:72

评论数:0

基于 Storm 的基础平台架构

一 基础架构图 二 Strom平台的发展方向 三 大数据平台思维延伸 四参考 http://www.jikexueyuan.com/course/2150.html

2018-01-14 10:39:16

阅读数:106

评论数:0

storm数据总线

一 数据总线的概念 二 为何要引入数据总线 三 基于MQ的数据总线设计 四 参考 http://www.jikexueyuan.com/course/2150.html

2018-01-14 10:25:18

阅读数:75

评论数:0

storm系统监控

一 监控系统的重要性 二 系统监控的几大指标 三 系统监控的初步解决方案 四 参考 http://www.jikexueyuan.com/course/2150.html

2018-01-14 10:07:25

阅读数:287

评论数:0

storm多节点统一配置管理

一 多节点配置相关问题 二 几种可行的分布式配置解决方案 三 基于Zookeeper的统一配置管理解决方案 四 参考 http://www.jikexueyuan.com/course/2150.html

2018-01-14 09:53:25

阅读数:74

评论数:0

元数据管理器

一 什么是元数据 二 为何要引入元数据 三 实时处理平台任务调度 四 参考 http://www.jikexueyuan.com/course/2150.html

2018-01-13 21:20:21

阅读数:109

评论数:0

Storm的消息队列接入以及多种方式落地实例运行

一 启动集群 master集群启动后进程查看 [root@master ~]# jps 7010 Jps 2777 ServerStartup 2686 QuorumPeerMain slave1集群启动后进程查看 [root@slave1 ~]# jps 2585 QuorumPeerM...

2018-01-13 20:12:46

阅读数:132

评论数:0

Storm的消息队列接入以及多种方式落地实例代码实现

一 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0"; xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"; xsi...

2018-01-13 17:45:04

阅读数:138

评论数:0

Storm上下级依赖系统的介绍及搭建(MetaQ以及Mysql)

一 消息队列MQ的作用 二 MetaQ简介 三 MetaQ的安装部署 1 依赖于Zookeeper集群,必须先安装Zookeeper 2 准备Mta的安装包 metaq-server-1.4.6.2.tar.gz 3 解压metaQ [root@master o...

2018-01-13 13:48:34

阅读数:71

评论数:0

Storm的消息队列接入以及多种方式落地实例需求分析和设计

一 实例需求、拓扑扩展 二 方案设计 三 拓扑设计 四参考 http://www.jikexueyuan.com/course/1724.html

2018-01-13 11:11:27

阅读数:69

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭