目录
准备测试数据
压缩数据&建立索引文件
以wordcount的input运行MapReduce
LZO索引说明
准备测试数据
因为默认的block是128M大,上传了一份小数据只有19M需要扩大,通过shell脚本解决。
1.编写shell脚本
[hadoop@192 data]$ touch create_data.sh
[hadoop@192 data]$ vi create_data.sh
#!/bin/bash
basepath=$(cd `dirname $0`; pwd)
if [ "$basepath" != "/home/h