Cloudera Hue资料整理

0.相关资料

a.github

https://github.com/cloudera/hue

b.hue创始人的博客

https://medium.com/data-querying

c.使用docker-compose部署

https://github.com/cloudera/hue/tree/master/tools/docker/hue#docker-compose

d.spark sql with livy

https://gethue.com/blog/quick-task-sql-editor-for-apache-spark-sql-with-livy/

e.重要的连接配置

https://docs.gethue.com/administrator/configuration/connectors/

f.How to configure Hue for your Hadoop cluster

https://gethue.com/how-to-configure-hue-in-your-hadoop-cluster/

g.Hue in Docker

https://gethue.com/hue-in-docker/

1.遇到问题及解决方法

a.使用hue的docker-compose的话要 先初始化挂载文件，再初始化命令，mysql 的配置要注意 host 不能配置为 localhost

b.由于 Spark版本升级的问题，需要在 spark-defaults.conf 文件中新增参数 进行前后兼容，避免运行时报错

spark.sql.legacy.parquet.int96RebaseModeInRead=CORRECTED

c.期间遇到的问题，通过将 hue的元数据库改成 mysql解决了

https://blog.csdn.net/weixin_30532759/article/details/94925494

d.spark之Failed to create local dir那点事

https://www.jianshu.com/p/e87d2d3354bd

这个问题是由于spark-thriftserver 长时间没有使用导致的，重新启动即可解决问题

e.hue连接hive查询报错

Thrift version configured by property thrift_version might be too high.

https://blog.csdn.net/u014770372/article/details/112945957

f.hive on spark 报错:

failed to create spark client for spark session

https://cdmana.com/2021/01/20210107141354069i.html

需要把新建的hue用户加到 yarn 的 acl列表中，这样才能够提交 app 到 yarn上

g.查询yarn状态 报错 dns cdh-datanode01 service name not found

需要在 docker-file 中添加上相关的 hosts 映射即可

h.hue 中的查询语句带有非英文字符，查询时报错， 通过修改 hue 相关表

ALTER DATABASE hue character set latin1;
ALTER TABLE beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;
ALTER TABLE desktop_document2 modify column name varchar(255) CHARACTER SET utf8;
ALTER TABLE desktop_document2 modify column description longtext CHARACTER SET utf8;
ALTER TABLE desktop_document2 modify column search longtext CHARACTER SET utf8;

i.hue使用spark sql 查询的时候报错 like 语句 % 有问题，使用 sqlachemy 解析出了问题

需要配置为 thriftserver 的方式来查询，避免该问题