win10：hadoop、hive、mysql、spark搭建问题记录

1、工具间的版本对应；2、环境变量；3、权限；4、配置文件

本次的配置如下：

win10家庭版、java 1.8.0_40、hadoop 2.7.6、mysql 5.7.17、hive-2.1.1、scala-2.11.8、spark 2.3.0、python 3.6.5

虽有说：遇到的99%问题在之前就有人遇到过并有解决方法，但要准确定位到问题也是学问。

1、配置完mysql、hive和hadoop，hive查询正常，但插入insert values报错

命令行return code 2 from org.apache.hadoop.hive.ql.exec.mr.mapredtask，找了网上的没有解决。

到hadoop的界面看history，显示Exception message: CreateSymbolicLink error (1314): ???????????

原因是windows账户不具备创建符号表的权限  参考 Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????-CSDN博客

由于是win10家庭版，没有组策略gpedit.msc，解决参考 【Windows】Win10家庭版启用组策略gpedit.msc_failed to execute-CSDN博客

2、在pycharm中运行pyspark

No module named 'py4j'，将spark/python/lib中的py4j文件夹放到Anaconda3\Lib\site-packages

Could not find valid SPARK_HOME while searching(pycharm in windows)   参考pycharm中pyspark编程报错Could not find valid SPARK_HOME while searching(pycharm in windows) - 程序员大本营