需要用到Sqoop将原来mysql中的数据导入到HBase,以下是安装配置Sqoop的步骤和问题记录:
1. 项目用到的hadoop的版本是1.0.3,所以对应的sqoop是sqoop-1.4.3.bin__hadoop-1.0.0,mysql的jdbc是mysql-connector-java-5.1.24
2. 解压sqoop,配置环境变量:
在/etc/profile中添加:
export $SQOOP_HOME=/home/hadoop/sqoop-1.4.3
export $PATH = $SQOOP_HOME/bin:$PATH
配置完成后,需要注销或者重启
3. 解压mysql,将mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib里,配置完成。
但是遇到的问题如下:
1. 在命令行运行sqoop,提示:
Error: Could not find or load main class org.apache.sqoop.Sqoop
这里把sqoop解压后根目录下的sqoop-1.4.3.jar加入到hadoop-1.0.3/lib里即可。
2. 运行sqoop list-tables --connect jdbc:mysql://192.168.10.111:3306/database -username 'root' -P 提示mysql错误:
13/07/02 10:09:53 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
13/07/02 10:09:53 ERROR sqoop.Sqoop: