zeppelin+kylin+hive+hbase+hadoop+sqoop解决方案之sql问题

最新推荐文章于 2024-07-28 23:55:21 发布

习惯纯洁的45度仰望

最新推荐文章于 2024-07-28 23:55:21 发布

阅读量2.9k

点赞数

分类专栏：大数据 Linux shell

本文链接：https://blog.csdn.net/jiangbo1984/article/details/79062024

版权

本文探讨了Hadoop生态系统中的SQL应用，包括MySQL、Hive和Kylin的不同SQL标准。Kylin作为快速OLAP引擎，虽然提供了部分SQL支持，但在功能上与关系型数据库相比有所限制。解决方案包括在数据导入时就考虑Kylin的数据类型，并利用Hive视图处理复杂业务需求。

摘要由CSDN通过智能技术生成

大致说下架构，hadoop的mapreduce实现基础计算，kylin实现数据统计分析，sqoop把mysql数据同步到hive中

hive和hbase服务于kylin，hive是数据仓库为kylin提供数据，hbase存放kylin生成的cube。zeppelin通过kylin提供的接口进行大数据可视化展示。

1、整个过程中mysql\hive\kylin三处用到了sql，但标准不一样这是比较搞脑子的地方。

1）mysql,我就不多讲了，各种函数处理数据十分灵活。

2）hive sql，灵活度比关系型数据库差些，不过也还好。https://www.iteblog.com/archives/2258.html#i-7

3）kylin在insight和api会调用自己的一套sql标准，官网说“- 可扩展超快OLAP引擎: Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计- Hadoop ANSI SQL 接口: Kylin为Hadoop提供标准SQL支持大部分查询功能”，但是网上也么找到具体的函数使用说明，我根据报错信息，得出大概支持下列sql函数：

"UNION"
"INTERSECT"
"EXCEPT"
"MINUS"
"ORDER"
"LIMIT"
"OFFSET"
"FETCH"
"STREAM"
"DISTINCT"
"ALL"
"*"
"+"
"-"
"NOT"
"EXISTS"
<UNSIGNED_INTEGER_LITERAL>
<DECIMAL_NUMERIC_LITERAL>
<APPROX_NUMERIC_LITERAL>
<BINARY_STRING_LITERAL>
<PREFIXED_STRING_LITERAL>
<QUOTED_STRING>
<UNICODE_STRING_LITERAL>