一起艳学大数据Hadoop（一）——安装hadoop

最新推荐文章于 2021-09-05 09:22:45 发布

艳学网

最新推荐文章于 2021-09-05 09:22:45 发布

阅读量439

点赞数

分类专栏：大数据挖掘文章标签：大数据 hadoop spark hbase 数据挖掘

本文链接：https://blog.csdn.net/sinat_15153911/article/details/77971917

版权

大数据挖掘专栏收录该内容

35 篇文章 1 订阅

订阅专栏

前言：接下来带大家学习大数据的生态圈，以及数据挖掘。学习Hadoop,Hive,HBase,Pig,Spark,Oozie等大数据技术，带你装逼带你飞。

首先安装一下hadoop
这里写图片描述

下载hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
mv hadoop-1.2.1.tar.gz /opt/
tar -zxvf hadoop-1.2.1.tar.gz


设置HADOOP环境变量
HADOOP_HOME=/opt/hadoop-1.2.1
PATH=:$HADOOP_HOME/bin:$PATH

vim /etc/profile
source /etc/profile 

修改四个配置文件
1、hadoop-env.sh 设置JAVA_HOME
2、修改core-site.xml 设置hadoop.tmp.dir
dfs.name.dir,fs.default.name
3、修改mapred-site.xml 设置mapred.job.tracker
4、修改hdfs-site.xml 设置dfs.data.dir

cd conf
scho $JAVA_HOME
JAVA_HOME=/root/java/jdk1.8.0_131
vim hadoop-env.sh

vim mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>yanhui:9001</value>
</property>

vim core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://yanhui:9000</value>
</property>

vim hdfs-site.xml
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

检验是否安装成功
hadoop namenode -format
bin start-all.sh
jps


HDFS命令
hadoop fs -mkdir input    --创建目录
hadoop fs -ls /user/root  --查看目录
hadoop fs -put hadoop-env.sh input/   --上传文件
hadoop fs -ls /user/root/input/       --查看文件
hadoop fs -cat input/hadoop-env.sh       --查看文件
hadoop fs -get input/hadoop-env.sh hadoop-env2.sh       --下载文件

hadoop dfsadmin -report