Hive
上海菁数信息——实时数字智能
大数据 数据挖掘 机器学习
展开
-
使用presto调用hive
启动hive metastore服务 hive --service hivestore & 关于最后的一个&,告诉小白一下是后台运行的意思 presto配置使用hive插件 presto所在的文件中etc(自建)的catalog(自建)中hive.properties(自建文件)中配置 connector.name=hive-hadoop2#这个连接器的选择要根据自身集群情况结合插件包的原创 2017-03-28 14:48:18 · 10580 阅读 · 0 评论 -
hive启动报错,找不到spark的jar包们
类型下面的报错 cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory 编辑你的hive启动脚本 vim /usr/local/hive/bin/hive更改116行的内容,我的版本是1.2.2的hive if [[ -n "$SPARK_HOME" ]] then原创 2017-04-28 14:28:42 · 3541 阅读 · 0 评论 -
presto最新版本0.172下载地址 2017-4-10 Facebook更新
同样的即席查询(ad-hoc)使用场景,技术选型上面主要对比了impala和presto impala是C家的产品,Apache在孵化中的项目,成熟度而言大优于presto 但是impala对于CDH的生态在这个阶段依赖太强,性能上做过测试,两者差距不大,个人的应用场景主要是对hive数据的即席查询,所以有的场景需要用到presto 国内大厂京东对presto的应用比较多,也提供了相原创 2017-03-31 11:00:55 · 3541 阅读 · 0 评论 -
Hive 3.0.0 支持的 Spark 版本是2.3.0 另有全部版本的对应表
Hive on Spark 对应的Hive支持对应的Spark版本 需要到Hive源码的pom文件中去查看(几千行) Hive 3.0.0 支持的 Spark 版本是2.3.0 <spark.version>2.3.0</spark.version> 全版本对应表如下,请注意严格执行 master 2.3.0 3.0.x 2.3...原创 2018-07-25 11:15:09 · 6563 阅读 · 1 评论 -
HDP 3.1.0 HIVE使用tez 长时间无反应 成功解决
目录解决问题解决方法支持 解决问题 HDP 3.0.0 安装的HIVE使用tez,执行任务需要用到tez session时会找不到 解决方法 在打开后增加以下设置 set hive.server2.tez.initialize.default.sessions=true; 如需一直生效,在hive的配置文件hive-site.xml中添加 &amp;amp;amp;lt;property&amp;amp;amp;gt; &amp;原创 2018-10-15 15:54:05 · 6295 阅读 · 0 评论