集群学习笔记
对半独白
笔记是积淀的一种途径。
展开
-
HBase笔记:学习要点
Google Bigtable的开源实现 列式数据库 按列存储,同一列族数据放在同一数据文件 mysql实现的是高可用集群,节点数据均相同,实现读写分离 Zookeeper:Google Chubby的开源实现,用于调度,协调分布式系统上的各种服务,例如确认消息是否准确到达,防止单点失效,处理负载均衡等。 Zookeeper应用场景:HBase,实现Namenode自动切换原创 2014-08-26 15:31:38 · 780 阅读 · 0 评论 -
MR笔记:Map-Reduce实践笔记
1:一些 瓶颈在I/O这一块,因为大数据的传输。 通过分片实现数据计算本地化,一个分片对应一个task 其他并行计算框架:MPI PVM CUDA BOINC 目前云计算主流解决方案:Hadoop与Openstack(EC2的山寨版,EC2是云计算开山之作,属于亚马逊) 2:应用 hadoop进行日志收集与分析(eg.京东POP 淘宝数据魔方) 淘宝:hadoop原创 2014-08-26 15:27:08 · 628 阅读 · 0 评论 -
Apache S4笔记:从搭建到运行
S4准备工作: 1:安装jdk,配置环境变量 2:安装gradle,配置环境变量 export GRADLE_HOME=/opt/gradle-1.4;export GRADLE_HOME export PATH=$GRADLE_HOME/bin:$PATH 注:最好在linux下解压,不然会出现权限问题 3:linux用git clone git://git.apac原创 2014-08-26 15:04:58 · 852 阅读 · 0 评论 -
Hadoop笔记:集群的虚拟搭建(版本1.2.1)
去除开机提示Host MSBus controller的错误 1、查明装入模块的确切名字 lsmod | grep i2c 显示输出的结果是模块的确切名字,如i2c_piix4、i2c_piix42等 2、将该模块列入不装入名单。编辑文件/etc/modprobe.d/blacklist.conf 在末尾加入 blacklist i2c_piix4 3、重新生成引导文件/boot/i原创 2014-08-26 15:18:35 · 531 阅读 · 0 评论 -
Hadoop笔记:集群的运行(版本1.2.1)
hadoop启动之初先进入安全模式,此时不允许操纵文件系统,操作会报错。 用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下: enter - 进入安全模式 leave - 强制NameNode离开安全模式 get - 返回安全模式是否开启的信息 wait - 等待,一直到安全模式结束 1:运行hadoop自带的单词统计程序原创 2014-08-26 15:22:06 · 561 阅读 · 0 评论