shuangshaung_的博客

1. HADOOP集群：使用第4章的Hadoop集群2. 下载pig-0.15.0.tar.gz，解压到/usr/local目录下。tar –zxvf pig-0.15.0.tar.gz -C /usr/local3. 配置环境变量：export PIG_HOME=/usr/local/pig-0.15.0export PATH=$PIG_HOME/bin:$PATH

数据格式如下：20111230000005 57375476989eea12893c0c3811607bcf奇艺高清 1 1 http://www.qiyi.com/20111230000005 66c5bb7774e31d0a22278249b26bc83a凡人修仙传 31 http://www.booksky.org/BookDetail.aspx?BookID

1.PageRank算法简介及Map-Reduce实现http://blog.jobbole.com/71431/2. pig学习笔记http://blog.csdn.net/shifenglov/article/details/385845273.Hive 学习笔记（三）http://blog.csdn.net/gg584741/article/details

1)将下载的flume包上传到/usr/local，解压到/usr/local目录中tar –zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/localls后看到apache-flume-1.6.0-bin2)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置[root@master apache-flume-1

上接法律网推荐(一) 用Hive进行数据探索分析    3）数据预处理           1. 数据清洗           2. 数据变换           3. 属性规约通过上述网址类型分布分析，后续分析中，选取其中占比最多的两类（咨询内容页、知识内容页）进行模型分析。可以发现一些与分析目标无关的数据清洗规则：实验内容：数据清

二、如何在hadoop集群中安装flume流？1)将下载的flume包上传到/usr/local，解压到/usr/local目录中tar –zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/localls后看到apache-flume-1.6.0-bin2)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置

每天启动Hadoop集群时都会打开这份txt文档，现在看来觉得这份文档才是精髓，看一眼，就能理一遍思路。如下的命令中，有启动Hadoop集群的，zookeeper集群的，hbase的，启动spark的，当然还有像Pig、Hive这些，直接输入就能进入。总之，如果没有下面这个文档，每天遇到一些问题可能会毛手毛脚，甚至可能因为睡得懵懵的而忘了启动路径....1.启动hadoop集群