一、Hadoop
1. 编辑 /etc/hosts文件,添加主机和ip信息,所有节点保持一致
172.17.0.2 master
172.17.0.3 slave01
172.17.0.4 slave02
2. 配置主节点,在master上配置slave信息
vim /usr/local/hadoop/etc/hadoop/slaves
slave01
slave02
3. 启动集群
cd /usr/local/hadoop
./bin/hdfs namenode -format
./sbin/start-all.sh
4. 查看java进程
jps
5. 做实验
5.1 创建hdfs文件夹
cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop/input
5.2 复制文件至input中
./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
5.3 查看input下的所有文件
./bin/hdfs dfs -ls /user/hadoop/input
5.4 跑代码
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /user/hadoop/input output 'dfs[a-z.]+'
5.5 看结果
./bin/hdfs dfs -cat output/*
5.6 删除output,可重新跑代码
/usr/local/hadoop/bin/hdfs dfs -rm -r output
二 、Sqoop
1. 下载sqoop
因为官方并不建议在生产环境中使用sqoop2,即1.99.7,所以这里我用的是sqoop1,即1.4.7
点击下载:http://mirror.bit.edu.cn/apache/sqoop/
2. 上传与解压
tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar sqoop-1.4.7
mv sqoop-1.4.7 /usr/local/
3. 配置环境变量
vim ~/.bashrc
export SQOOP_HOME=/usr/local/sqoop-1.4.7
export PATH=$JAVA_HOME/bin:$SQOOP_HOME/bin
编辑完成后,执行命令
source ~/.bashrc
4. sqoop配置文件修改
cd /usr/local/sqoop-1.4.7/conf
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
sqoop-env.sh文件末尾加入以下配置
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HBASE_HOME=/usr/local/hbase
5. 把MySQL的驱动包上传到sqoop的lib下
6. 使用sqoop
sqoop help
7. 使用sqoop查看mysql中的数据表
./sqoop list-databases --connect jdbc:mysql://192.168.1.34:3306/test?characterEncoding=UTF-8 --username root --password '123456'