spark-shell引用不了hive数据表的问题 sqlContext hiveContext

从上面两篇开始 一直进入一个错误中 关于 jack包引用的问题

cdh下载文件安装的

环境 centos 7.0

hadoop-2.6.0-cdh5.7.0

hive-1.1.0-cdh5.7.0

scala-2.11.0

spark-1.6.0-cdh5.7.0

从hadoop伪分布试安装  mysql hive scala的安装都没问题

直到spark安装 启动

spark-shell --master yarn --jars /home/hadoop/hive/lib/mysql-connector-java-5.1.44.jar

一直都在报jackson包相关的问题 原因是 hadoop版本用的是1.8的 而spark 用的是1.9或更高的版本

结果坑了将近2周时间  整了各种配置 结果spark可以运行了 却不支持hive表查询了 蒙了

com/fasterxml/jackson/databind/Module

然后尝试从spark官网下载 对应hadoop版本的 tar 结果一下就行了 终于都可以继续下一步 了

hive引用日志