2014年08月_对半独白

原创 HBase笔记：学习要点

Google Bigtable的开源实现列式数据库按列存储，同一列族数据放在同一数据文件mysql实现的是高可用集群，节点数据均相同，实现读写分离Zookeeper：Google Chubby的开源实现，用于调度，协调分布式系统上的各种服务，例如确认消息是否准确到达，防止单点失效，处理负载均衡等。Zookeeper应用场景：HBase，实现Namenode自动切换

2014-08-26 15:31:38 780

原创 MR笔记：Map-Reduce实践笔记

1：一些瓶颈在I/O这一块，因为大数据的传输。通过分片实现数据计算本地化，一个分片对应一个task其他并行计算框架：MPI PVM CUDA BOINC目前云计算主流解决方案：Hadoop与Openstack（EC2的山寨版，EC2是云计算开山之作，属于亚马逊）2：应用hadoop进行日志收集与分析（eg.京东POP 淘宝数据魔方）淘宝：hadoop

2014-08-26 15:27:08 628

原创 Hadoop笔记：集群的运行（版本1.2.1）

hadoop启动之初先进入安全模式，此时不允许操纵文件系统，操作会报错。用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待，一直到安全模式结束1：运行hadoop自带的单词统计程序

2014-08-26 15:22:06 561

原创 Hadoop笔记：集群的虚拟搭建（版本1.2.1）

去除开机提示Host MSBus controller的错误1、查明装入模块的确切名字lsmod | grep i2c显示输出的结果是模块的确切名字，如i2c_piix4、i2c_piix42等2、将该模块列入不装入名单。编辑文件/etc/modprobe.d/blacklist.conf在末尾加入blacklist i2c_piix43、重新生成引导文件/boot/i

2014-08-26 15:18:35 531

原创 Apache S4笔记：从搭建到运行

S4准备工作：1：安装jdk，配置环境变量2：安装gradle，配置环境变量export GRADLE_HOME=/opt/gradle-1.4;export GRADLE_HOMEexport PATH=$GRADLE_HOME/bin:$PATH注：最好在linux下解压，不然会出现权限问题3：linux用git clone git://git.apac

2014-08-26 15:04:58 852