启动hadoop

一、Hadoop

1. 编辑 /etc/hosts文件，添加主机和ip信息，所有节点保持一致

172.17.0.2    master
172.17.0.3    slave01
172.17.0.4    slave02

2. 配置主节点，在master上配置slave信息

vim /usr/local/hadoop/etc/hadoop/slaves

slave01
slave02

3. 启动集群

cd /usr/local/hadoop
./bin/hdfs namenode -format
./sbin/start-all.sh

4. 查看java进程

jps

5. 做实验

5.1 创建hdfs文件夹

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop/input

5.2 复制文件至input中

./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input

5.3 查看input下的所有文件

./bin/hdfs dfs -ls /user/hadoop/input

5.4 跑代码

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /user/hadoop/input output 'dfs[a-z.]+'

5.5 看结果

./bin/hdfs dfs -cat output/*

5.6 删除output，可重新跑代码

/usr/local/hadoop/bin/hdfs dfs -rm -r  output

---

二 、Sqoop

1. 下载sqoop

因为官方并不建议在生产环境中使用sqoop2，即1.99.7，所以这里我用的是sqoop1,即1.4.7
点击下载：http://mirror.bit.edu.cn/apache/sqoop/

2. 上传与解压

tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar sqoop-1.4.7
mv sqoop-1.4.7 /usr/local/

3. 配置环境变量

vim ~/.bashrc

export SQOOP_HOME=/usr/local/sqoop-1.4.7
export PATH=$JAVA_HOME/bin:$SQOOP_HOME/bin

编辑完成后，执行命令

source ~/.bashrc

4. sqoop配置文件修改

cd /usr/local/sqoop-1.4.7/conf
cp sqoop-env-template.sh sqoop-env.sh

vim sqoop-env.sh

sqoop-env.sh文件末尾加入以下配置

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HBASE_HOME=/usr/local/hbase

5. 把MySQL的驱动包上传到sqoop的lib下

 

6. 使用sqoop

sqoop help

7. 使用sqoop查看mysql中的数据表

 ./sqoop list-databases --connect jdbc:mysql://192.168.1.34:3306/test?characterEncoding=UTF-8 --username root --password '123456'