- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark-sql与Hive的关系
spark sql 在某些部分是重用的Hive的东西，比如语法解析、元数据存储，到执行计划的翻译部分。HiveQL可以翻译成mapreduce执行，也可以翻译成spark执行计划执行。 在同时安装了Hive和spark时，我使用hive下的beeline执行HQL,执行引擎是mapreuce;使用spark下的spark-beeline执行HQL，执行引擎是spark。 不管是上面哪种方式执行 ...
2017-06-14 23:57:13
1723
原创 Hive-数据文件分隔符为多字符问题
在网上中文搜索出的结果，多半都是过时解决方法，还是推荐google，stackoverflow。 先上结论：如果是0.14以后的版本，直接用MultiDelimitSerde；否则，偏向于先预处理下源数据文件。 1. 如果是Hive 0.14 (2014-12月发布)以后的版本，就可以用MultiDelimitSerde优雅的解决这个问题。 This issue has be
2017-06-14 22:36:15
1041
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人