kettle从hive取数乱码-问题解决方法（可下载改写驱动）

目录

相关资料：

实现步骤：

资源下载：

---

博主第一次使用kettle抽取hive中的数据时，遇到了取数结果乱码的问题。

经查阅相关资料，大致有以下几种解决办法：

1. hive连接页面设置characterEncoing=utf8。对关系型数据库可能有用，但对hive测试无效；
2. 修改hive连接驱动中的jar包。

相关资料：

先看下kettle是如何使用hive的jdbc连接的。

经测试，在lib下、{kettle_home}\data-integration\plugins\pentaho-big-data-plugin\lib下加入hive的jdbc的jar包，会造成连接功能异常。在该目录下存在jar文件hive-jdbc-0.7.0-pentaho-1.0.2.jar，这个类是一个适配类，不真正实现hive的jdbc连接。而是通过反射的方式，找到classpath下的hivejdbc类，即存在于{kettlehome}\plugins\pentaho-big-data-plugin\hadoop-configurations\hadoop-20\lib\hive-jdbc-0.7.0-pentaho-1.0.2.jar这个jar文件，该文件用于真实的调用hive。

网上查资料说，可以先从以下url中获取source文件，http://repo.pentaho.org/artifactory/repo/org/apache/hive/hive-jdbc/0.7.0-pentaho-1.0.2/hive-jdbc-0.7.0-pentaho-1.0.2-sources.jar 下载解压后，导入到你自己的一个新建java工程中，并引入相关的类库，可以使之正常编译。

但实际上并不能找到这个source文件，查遍整个搜索引擎也还是没能找到相关的jar包，因此楼主对jar包进行了反编译-》重编译。

实现步骤：

工具：反编译工具jd-gui、java IDE工具Eclipse

我的实现步骤如下：

1. 找到hive-jdbc-0.7.0-pentaho-1.0.2.jar这个jar包，把class文件解压在目录中；
2. 使用jd-gui反编译class文件为java源码文件，保存；
3. 新建java工程，把java源码文件导入工程；
4. 从hive-jdbc-0.7.0-pentaho-1.0.2.jar这个文件名可猜测，驱动是针对hive0.7.0进行修改的，引入hive、hadoop0.20的相关jar包，jdk使用1.5来编译；
5. 修改报错的代码——反编译的代码不一定是正确的，会有一定的语法错误；
6. 修改HiveQueryResultSet.java为以下代码：

   StructObjectInspector soi = (StructObjectInspector) serde.getObjectInspector();
   List fieldRefs = soi.getAllStructFieldRefs();
   //Object data = serde.deserialize(new BytesWritable(rowStr.getBytes()));//我们将该行屏蔽
   Object data = serde.deserialize(new BytesWritable(rowStr.getBytes("UTF-8")));//使用本行
   

7. 替换原来包中的HiveQueryResultSet.class文件，对所有的class文件按原结构进行打为jar包；
8. 替换原先的路径中的jar包就可以了。

资源下载：

楼主改好的jar包资源在这里：

http://download.csdn.net/detail/l714417743/9369816