大数据
qmylzx
这个作者很懒,什么都没留下…
展开
-
Ubuntu12.04+vmware部署集群(1+2)
首先安装三台unbuntu#设置root密码 sudo passwd root sudo passwd -u root安装OPENsshsudo apt-get install openssh-client sudo apt-get install openssh-server // sudo /etc/init.d/ssh start 启动sshps -e |gre...原创 2018-11-07 00:31:20 · 209 阅读 · 0 评论 -
hadoop权威指南笔记
combiner函数 集群的可用带宽限制了MapReduce作业数量,因此应该尽量避免两者之间数据传输是有利的map输出指定一个combiner,对数据量进行减少,最后再传递给reducecore-site.xml<property> <name>fs.defaultFS</name> 用于设置默认文件系统,指定namenode主机以及端口...原创 2018-11-07 15:52:07 · 318 阅读 · 0 评论 -
zookeeper学习笔记(分布式过程协同)
第一章概念与基础选举主节点、管理组内成员关系、管理元数据等主从工作模式:主节点分配任务给从节点。获取主节点的过程就是获取锁的过程,即互斥排他锁。竞争:两个进程不能同时处理工作的情况,一个必须等到另外一个HBase:用于选举主节点,以便跟踪可用服务器,并保持集群元数据kafka:检测崩溃,实现主题的发现,并保持主题的生产和消费状态Solr:存储集群的元数据,并协作更新这些元数据…以上...原创 2018-11-07 23:23:32 · 380 阅读 · 0 评论