Hadoop第十讲

Hadoop与关系数据库交换数据

1. 文本转换方案(转换为CSV,文本等文件)
2. 自写Java程序(用JDBC读关系数据库中的数据用Hadoop的API写入)
3. Sqoop(SQL-to-HDFS工具)
4. 厂商提供的解决方案

Hadoop-0.20.2下使用Sqoop：

                  

配置文件

                 

Sqoop命令选项

                

从MySQL导入数据的例子

操作之前需要创建一个用户以方便Sqoop使用，有权限对数据库进行处理。

               

导入到Hbase的命令

             

从Oracle导入数据

             

            

Oracle Big Data Conectors

可以将Hadoop中的文件作为外部表，进行直接访问。

Oracle HDFS直接连接器(ODCH)实验

                

实验环境：具体步骤可以搜索相关官方资料

             

应用于Hbase的对接：通过Thrift

Thrift是一个跨语言的服务部署架构。Thrift通过一个中间语言(IDL，接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码，并有生成的代码负责RPC协议层和传输层的实现。

具体的原理和使用可以参见博客：

1. http://dongxicheng.org/search-engine/thrift-framework-intro/

2. http://dongxicheng.org/search-engine/thrift-guide/