完成了Sqoop初步搭建+应用
Sqoop是一个用来将Hdfs和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如: MySQL,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
简略如下:
1、搭建好Hadoop,并启动。略(过后从PRP上粘个日志过来)
2、下载sqoop。官网:http://sqoop.apache.org/。解压一系列过程
3、准备好数据库。下载相应JDBC驱动(jar包)到 sqoop的lib目录下
4、设置$HADOOP_HOME。 $export HADOOP_HOME=/.........../.............../.............
5、命令:sqoop import --connect jdbc:mysql://localhost/test --table test1
6、之后会先生成.java的代码文件,用于类型转换。再启动一个Mapreduce工作(只有Map没有Reduce)
7、完成后,通过Hadoop的分布式文件系统可以查看得到的内容