2017年05月_王伴农

05月

原创跟我学storm教程2-并行机制及数据流分组

topology的四个组成部分Nodes(服务器)即为storm集群中的supervisor，会执行topology的一部分运算，一个storm集群一般会有多个nodeworkers（JVM虚拟机）node节点上运行的相互独立的jvm进程，每个节点上可以运行一个或者多个worker。一个复杂的topology会分配到多个worker上运行。Executor（线程）指某个jvm进程中运行的j

2017-05-02 21:09:41 1081

原创跟我学storm教程1-基本组件及分布式wordCount

storm拓扑组成结构 storm的分布式计算拓扑结果英文为topology，由数据流（stream）、数据源（spout）、运算单元（bolt）三个部分组成。数据源的数据流（stream）按照一定的方式（是否分组等等，这个概念后续会讲）流入一级bolt做运算，之后这些一级bolt的输出再按照一定的方式流入下一级bolt，如下图所示。storm跟hadoop等离线批量计算框架的最

2017-05-01 17:14:49 1358

原创连接github Permission denied (publickey).解决

连接github Permission denied (publickey).解决本地配置生成ssh-key1、ssh-keygen -t rsa -b 4096 -C [email protected] file in which to save the key 2、设置id名称(/Users/hostName/.ssh/id_rsa): id_xxx3、输入密码Enter pa

2017-05-01 15:17:13 2094