- 博客(6)
- 收藏
- 关注
RSS订阅转载 Hadoop File-Based Data Structures (二) Avro
标题 待续... 转载于:https://www.cnblogs.com/bruthe/articles/4737172.html
2015-08-17 17:25:00
69
转载 Hadoop File-Based Data Structures (一) SequencdFile 和 MapFile
标题 待续... 转载于:https://www.cnblogs.com/bruthe/articles/4737164.html
2015-08-17 17:24:00
119
转载 Hadoop-1.2.1 源码分析2 (Hadoop IO模块)
由于Hadoop的MapReduce和HDFS都有通信的需求，所以需要对通信的对象进行序列化. Hadoop并没有采用Java的序列化，而是引入了它自己的序列化系统. org.apache.hadoop.io包中定义了大量的可序列化对象，这些对象都实现了 Writable 接口. Writable 接口是序列化对象的一个通用接口. 1 数据类型接口 1.1 Writable接...
2015-06-26 15:29:00
235
转载 Hadoop-1.2.1 源码分析1 (包图概览)
要存点货啊, 潜心研究技术 Hadoop主要包括如下组成部分： Hadoop Core：一些支持hadoop其它子项目的通用工具集 (新版本改为 Hadoop Common) HDFS：一个高容错性的分布式文件系统，用于存储数据 MapReduce：一个处理大数据集的分布式计算框架 图1-1 是Hadoop项目的主要顶层包图： 图1-1 下载 ha...
2015-06-25 12:16:00
100
转载 linux 批量删除空文件或空文件夹
1. 批量删除空文件（大小等于0的文件） find . -name "*" -type f -size 0c | xargs -n 1 rm -f 2. 删除指定size大小文件 find . -name "*" -type f -size 1024c | xargs -n 1 rm -f ps: 此处即删除1k大小的文件. (但注意不要用 -size 1k，这...
2015-06-15 17:03:00
229
转载 hadoop, hive 启用LZO压缩
环境： ubuntu hadoop-2.6.0 hive-1.1.0 1 sudo apt-get install liblzo2-dev hadoop@idex140:~/modules/hadoop-2.6.0$ dpkg -L liblzo2-2 (查看安装包的位置) /. /usr /usr/lib /usr/lib...
2015-06-05 15:41:00
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人