hadoop安装及应用

目录

 

一、安装

二、日志分析案例

三、常见问题

---

一、安装

1、安装步骤

2、启动命令

--启动namenode hadoop-daemon.sh start namenode --启动datanode hadoop-daemon.sh start datanode --启动secondarynamenode hadoop-daemon.sh start secondarynamenode --启动resourcemanager yarn-daemon.sh start resourcemanager --启动nodemanager yarn-daemon.sh start nodemanager --启动hbase start-hbase.sh --进入hbase shell hbase shell

二、日志分析案例

1、分析各类浏览器的请求次数统计

参考https://blog.csdn.net/eieiei438/article/details/82021927 

2、日志获取，获取nginx的access.log，上传到hadoop服务器

上传到hdfs:

hdfs dfs -mkdir /data hdfs dfs -put /opt/data/access.log /data

3、将hadoop-test-1.0-SNAPSHOT.jar上传到HADOOP_HOME/hadoop_lib下

执行日志分析程序

hadoop jar hadoop-test-1.0-SNAPSHOT.jar hdfs://hadoopserver:8020/data/access.log hdfs://hadoopserver:8020/result/logtest

4、查看日志分析结果

hdfs dfs -cat /result/logtest/part-r-00000 输出结果 Apache HTTP Client      1 Chrome  436745 Firefox 7502 MSIE    2618 Safari  11116 Unknown 144349

 

三、常见问题

1、INFO metrics.MetricsUtil: Unable to obtain hostName

vi /etc/hosts 同步修改主机名称

 

2、start_hbase.sh 报错java_home is not set

修改config/hbase-env.sh，添加JAVA_HOME环境变量。