0.相关资料
a.github
https://github.com/cloudera/hue
b.hue创始人的博客
https://medium.com/data-querying
c.使用docker-compose部署
https://github.com/cloudera/hue/tree/master/tools/docker/hue#docker-compose
d.spark sql with livy
https://gethue.com/blog/quick-task-sql-editor-for-apache-spark-sql-with-livy/
e.重要的连接配置
https://docs.gethue.com/administrator/configuration/connectors/
f.How to configure Hue for your Hadoop cluster
https://gethue.com/how-to-configure-hue-in-your-hadoop-cluster/
g.Hue in Docker
https://gethue.com/hue-in-docker/
1.遇到问题及解决方法
a.使用hue的docker-compose的话要 先初始化挂载文件,再初始化命令,mysql 的配置要注意 host 不能配置为 localhost
b.由于 Spark版本升级的问题,需要在 spark-defaults.conf 文件中新增参数 进行前后兼容,避免运行时报错
spark.sql.legacy.parquet.int96RebaseModeInRead=CORRECTED
c.期间遇到的问题,通过将 hue的元数据库改成 mysql解决了
https://blog.csdn.net/weixin_30532759/article/details/94925494
d.spark之Failed to create local dir那点事
https://www.jianshu.com/p/e87d2d3354bd
这个问题是由于spark-thriftserver 长时间没有使用导致的,重新启动即可解决问题
e.hue连接hive查询报错
Thrift version configured by property thrift_version might be too high.
https://blog.csdn.net/u014770372/article/details/112945957
f.hive on spark 报错:
failed to create spark client for spark session
https://cdmana.com/2021/01/20210107141354069i.html
需要把新建的hue用户加到 yarn 的 acl列表中,这样才能够提交 app 到 yarn上
g.查询yarn状态 报错 dns cdh-datanode01 service name not found
需要在 docker-file 中添加上相关的 hosts 映射即可
h.hue 中的查询语句带有非英文字符,查询时报错, 通过修改 hue 相关表
ALTER DATABASE hue character set latin1;
ALTER TABLE beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;
ALTER TABLE desktop_document2 modify column name varchar(255) CHARACTER SET utf8;
ALTER TABLE desktop_document2 modify column description longtext CHARACTER SET utf8;
ALTER TABLE desktop_document2 modify column search longtext CHARACTER SET utf8;
i.hue使用spark sql 查询的时候报错 like 语句 % 有问题,使用 sqlachemy 解析出了问题
需要配置为 thriftserver 的方式来查询,避免该问题