竞赛平台操作hadoop

1.安装hadoop配置环境

mkdir -p /usr/hadoop  &&  cd /usr/hadoop
tar -zxvf /usr/package277/hadoop-2.7.7.tar.gz -C /usr/hadoop/

scp -r /usr/hadoop root@slave1:/usr/

scp -r /usr/hadoop root@slave2:/usr/

立即点击验证

配置环境

vim /etc/profile

写入

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效

source /etc/profile

2.配置hadoop-env.sh

cd $HADOOP_HOME/etc/hadoop
echo "export JAVA_HOME=/usr/java/jdk1.8.0_221" >> hadoop-env.sh
vim core-site.xml

写入

<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
<value>/root/hadoopData/tmp</value>
</property>

保持并退出

vim hdfs-site.xml

写入

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/root/hadoopData/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/root/hadoopData/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.use.datanode.hostname</name>
<value>true</value>
</property>

退出并保持

echo "export JAVA_HOME=/usr/java/jdk1.8.0_221" >> yarn-env.sh

vim yarn-site.xml

写入

<property>
<name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> 
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

保存并退出

echo master > master && echo slave1 > slaves  && echo slave2 >> slaves

scp -r /usr/hadoop root@slave1:/usr/

scp -r /usr/hadoop root@slave2:/usr/

格式化namenode：hadoop namenode -format (仅在master中进行操作)

hadoop namenode -format

主节点开启服务：

start-all.sh

使用hadoop命令“hadoop fs”进行相关操作。
查看集群状态：

hdfs dfsadmin -report