配置spark可能遇到的问题及其他相关配置

【问题1】安装ubuntu18.04

https://zhuanlan.zhihu.com/p/38797088

【问题2】ubuntu18.04下安装mysql5.7

https://blog.csdn.net/feinifi/article/details/107406780

【问题3】pyspark+pycharm 配置

【解决方法】
https://blog.csdn.net/u012884015/article/details/80105921
PYTHONPATH /usr/local/spark/python
SPARK_HOME /usr/local/spark

【问题4】修改python3为python

【解决方法】
vim ~/.bashrc

alias python=python3

source ~/.bashrc

【问题5】在spark中配置python环境变量：

【解决方法】https://blog.csdn.net/qq_42881421/article/details/88069211

【问题6】mysql 接入hive报错问题

【解决方法】https://blog.csdn.net/weixin_42534009/article/details/105913449

【问题7】配置kafka消费者：

【解决方法】bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic dblab --from-beginning

【问题8】安装多个版本python，设置优先级问题：

【解决方法】
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.6 1
sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.7 2

sudo update-alternatives --install /usr/bin/pip pip /usr/local/bin/pip3.6 1

sudo update-alternatives --config pip