- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CDH搭建
系统环境准备 1、网络配置vi /etc/sysconfig/networkvi /etc/hosts2、SSH免密钥登录ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsassh-copy-id3、防火墙关闭service iptables stopchkconfig iptables off4、SELINUX关闭...
2018-08-30 16:10:12
274
原创 strom环境搭建
一、storm概念 1 元组（tuple）元组是Storm中消息传输的基本单元，是一个命名的值列表（List）。元组支持所有基本类型、字符串、字节数组作为字段的值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个Key-value的Map，但是由于组件之间传递的元组的字段名称已经事先定义好，所以只需要按照顺序，将值填入List即可。2 流（Stream）流是...
2018-08-29 20:18:50
281
转载 spark之任务调度DagScheduler&TaskScheduler
在创建SparkContext对象的时候，一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种：TaskScheduler（是低级的调度器接口）。TaskScheduler负责实际每个具体Task的物理调度。 DagScheduler（是高级的调度）。DAGScheduler负责将Task拆分成不同Stage的具有依赖关系（包含RDD的依赖关系）的多批任务...
2018-08-01 09:47:51
1624
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人