大数据
悟空很开心
幸福来敲门
展开
-
01-Storm初探
1、Storm是什么? 此处省略一万字~~2、Storm架构图 nimbus:负责资源分配和任务调度supervisor:负责接受nnimbus分配的任务,启动和停止属于自己管理的worker进程worker:运行具体处理逐渐逻辑的进程task:worker进程中每一个spout/bolt的线程称为一个task,在storm 0.8之后,task不再与物理线程对应,同一个s原创 2016-10-14 12:35:16 · 464 阅读 · 0 评论 -
Apriori算法
一、Apriori算法简介: Apriori算法是一种挖掘关联规则的频繁项集算法,其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。 Apriori(先验的,推测的)算法应用广泛,可用于消费市场价格分析,猜测顾客的消费习惯;网络安全领域中的入侵检测技术;可用在用于高校管理中,根据挖掘规则可以有效地辅助学校管理部门有针对性的开展贫困助学工作;也可用在移动通信领域中,指导运营商的业转载 2017-05-29 21:07:16 · 654 阅读 · 0 评论 -
OpenStack在Uubutu上的一键安装
关于openstack的安装,参考: http://blog.csdn.net/justinshane/article/details/50097839 。一 基本介绍本实验是在vmware workstation上虚拟机ubuntu14.04(64bit,desktop)上部署openstack(Juno版本)。采用的工具是openshit。openshit是github上的一个项目,具体见原创 2017-05-28 08:57:40 · 1036 阅读 · 0 评论 -
OpenDaylight与OpenStack结合验证
http://www.sdnlab.com/7796.html原创 2017-05-28 09:38:28 · 528 阅读 · 0 评论 -
好玩的数据集
国内数据:链接:http://pan.baidu.com/s/1i5nyjBn 密码:26bm 好玩的数据集:链接:http://pan.baidu.com/s/1bSDIEi 密码:25zr 微软数据:链接:http://pan.baidu.com/s/1bpmo6uV 密码:286q 微博数据集:链接:http://pan.baidu.com/s/1jHCOwCI 密码:x58f 遥感影转载 2017-01-09 11:21:20 · 2192 阅读 · 1 评论 -
关于zookeeper的一二三·再续
前面的两篇已经对ZK有了一些介绍(传送门:关于zookeeper的一二三,关于zookeeper的一二三·续),今天继续来探讨一个典型的应用场景:分布式共享锁。1、需求 在我们自己的分布式业务系统中,可能会存在某种资源,需要被整个系统的各台服务器共享访问,但是只允许一台服务器同时访问,此时,我们需要设计一个分布式共享锁。 设计思路: package zklock;import org.apac原创 2016-10-17 19:13:51 · 402 阅读 · 0 评论 -
关于zookeeper的一二三·续
上一篇中提过zk可以用来做服务器上下线动态感知,今天就来写这个东西,当然,肯定距离生产环境下的代码质量相差深甚远,不断前行努力吧~~1、需求简单描述 在某个分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。设计思路: 对于服务器异常宕机的处理类似,省去不表。2、代码开发 服务端程序package zk_dist;import原创 2016-10-17 18:39:40 · 444 阅读 · 0 评论 -
关于zookeeper的一二三
1、概念(非典型介绍) zookeeper是一个分布式协调程序,为其他的分布式程序提供服务,当然,zookeeper本身就是一个分布式程序,满足只要半数以上节点存活(因此最好配成奇数个节点),zookeeper就能正常工作,主要用来做主从协调、服务器节点动态上下线感知、统一配置管理、分布式锁、统一名称服务等等。虽说zk(以下均用zookeeper的简称zk),但是zk在底层其实只是提供了两个功能:原创 2016-10-17 09:52:18 · 695 阅读 · 0 评论 -
02-Storm之Hello World:单词统计
1、说明设计一个topology,来实现对一个句子里面的单词出现的频率进行统计。整个topology分为三个部分: RandomSentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。 SplitSentenceBolt:负责将单行文本记录(句子)切分成单词 WordCountBolt:负责对单词的频率进行累加2、TopologyMain 驱动类package wordc原创 2016-10-14 14:59:37 · 2853 阅读 · 0 评论 -
Hive相关
http://blog.csdn.net/liyantianmin/article/details/48262109转载 2017-11-23 14:21:15 · 360 阅读 · 0 评论