hadoop初学和mapreduce实现

我的个人博客地址：www.ningcaichen.top

linux装java

cd /usr
mkdir java
cp jdk-8u211-linux-x64.tar.gz /usr/java
tar -zxvf jdk-8u211-linux-x64.tar.gz

配置环境变量

vim /etc/profile
#按a编辑，在最后一行添加如下：
JAVA_HOME=/usr/java/jdk1.8.0_211
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
#然后按esc
#按大写的ZZ保存退出

重启虚拟机可以测试java

配置ssh

### 1. 安装ssh
sudo apt-get install ssh

### 2. 生成公钥和私钥，不管提示一直按enter
ssh-keygen -t  rsa

### 3. 将公钥添加到.ssh/authorized_keys，这时就能在本机免密码登陆了
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys



### master 和 salve 都要执行以上三步
### slave还要执行下面

### 4. 将master上的 id_rsa.pub拷贝到 slave上（我放在Desktop），然后添加到 salve的 .ssh/authorized_keys
cat /home/slave1/Desktop/id_rsa.pub >> ~/.ssh/authorized_keys

### 5. 重启ssh服务
service ssh restart

安装hadoop（master和slave节点都要）

mkdir /opt/hadoop
cp hadoop-0.20.2.tar.gz /opt/hadoop
cd /opt/hadoop
tar –zxvf hadoop-0.20.2.tar.gz
cd hadoop-0.20.2


#### 配 置hadoop

#--在Hadoop目录建立 tmp和 hdfs文件夹
mkdir tmp
mkdir hdfs

###--1
gedit conf/hadoop-env.sh  #把JAVA_HOME设置成Java安装根路径
export JAVA_HOME=/usr/java/jdk1.8.0_211

###--2.配置core-site.xml   （master和slave节点都要）
gedit /conf/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <!-- file system properties -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

###--3.配置hdfs-site.xml（master和slave节点都要）
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
	    <name>dfs.name.dir</name>
	    <value>/opt/hadoop/hdfs/name</value>
    </property>
    <property>
	    <name>dfs.data.dir</name>
	    <value>/opt/hadoop/hdfs/data</value>
    </property>
</configuration>

### --4.配置mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
</configuration>

###--5.配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证VM之间可以通过主机名可以互相访问，每个主机名一行
vi masters
master
vi slaves
slave1
slave2
slave3

运行

###--1.格式化。  每次之前要删除 hdfs里的name和data文件夹 才能格式化
./bin/hadoop namenode -format

###--2.启动hadoop
./bin/start-all.sh

###--3.查看  
http://master:
http://master:50070