cdh随笔

把root设置成hdfs的超级用户

操作步骤如下：

1、在Linux执行如下命令增加supergroup

groupadd supergroup

2、如将用户yarn增加到supergroup中，再执行：

usermod -a -G supergroup yarn

3、同步系统的权限信息到HDFS：

su - hdfs -s /bin/bash -c “hdfs dfsadmin -refreshUserToGroupsMappings”

4、验证

1. 将/user/hdfs目录的权限由700，修改为770

su - hdfs -s /bin/bash -c “hadoop fs -chmod 770 /user/hdfs”

2. 通过加到supergroup组中的yarn用户去列这个目录：

su - yarn -s /bin/bash -c “hadoop fs -ls /user/hdfs”

可成功列出目录即表示操作成功。
原文链接：https://blog.csdn.net/fenglibing/article/details/82261340

kylin 报table-not-found

https://stackoverflow.com/questions/35075276/apache-kylin-intermediate-table-not-found

设置spark2的python版本

编辑bin/pyspark,修改 PYSPARK_PYTHON=python3
编辑conf/spark-env.sh 增加
export PYSPARK_PYTHON=/usr/local/python3/bin/python3