- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 source insight 主题 monokia
本人是一个十分爱折腾的编程爱好者，自己花了很长时间DIY出来的主题，颜色基本完全按照sublime默认的monokia主题来弄得，有点儿小小的优化，有图有真相，看起来对比之前默认的，完全是一个天上一个地下的感觉，有木有。。。 颜色上有讲究，自己去研究哈~我就不一一说明了。 下载地址： http://download.csdn.net/download/u013
2018-01-31 13:19:13
6254
原创 storm 中 work executor task关系
先来一个图，看看storm的架构 这个架构很明显能看出来，有主有从，中间靠着zk进行一些联系和调度，然后主它主要的工作就是用一个资源分配进行任务的调度，然后从呢就是接收nimbus分配的任务，当接收到任务以后supervisor在它内部会启动和暂停属于自己管理的进程，这个进程在整个storm架构里面叫做worker，然后nimbus和supervisor分别代表不同的机器。
2018-01-10 18:31:06
681
原创 strom--理论
为啥需要storm，主要是mapreduce这个东西只有跑完才能给你传出结果。而且数据是你启动那一刻的数据，如果想着边算边传文件，mapreduce表示臣妾做不到。 流式处理具有时效性高，可以逐条处理数据，处理的快延时也低，类似pipe之类。 在storm中一个topology的概念，英文说法就是网络拓扑。也就是说一个网络里面包含了很多个节点，这节点和节点之间室友一个相互的依赖关系和互助数据传
2018-01-10 18:09:59
214
原创 hdfs---理论
首先说明： HDFS就是一个分布式文件系统 一般讲集群都是主从结构，不管你是hdfs还是mapreduce集群框架，都是有一个主多个从。 在hdfs里面，namenode就是主，datanode就是从，hdfs还有一个secondarynamenode， 这个就是一个镜像文件可以做数据的备份。 缕缕流程 client提交了一个任务，首先呢namenod
2018-01-09 21:28:01
130
原创 mapreduce--理论
mapreduce的思想：分治思想 通过字母就可以很清晰的看出来，分成了两部分，map和reduce，也就是两个阶段：第一个阶段：把一个大数据拆解成多个小文件；第二个阶段：对拆解后的数据进行求解然后再合并。 来一个经典的图。数据流转一目了然。 大概的流程是这样： 数据存在hdfs中，通过inputformat接口，会吧hdfs里面的大数据切分成若干个split，
2018-01-08 17:21:54
193
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人