大数据踩过的一些错误

IDEA本地运行Spark配置log4j过滤Spark INFO信息

提示：Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties

点击File->ProjectStructure->Libraries 大概可以得知Spark的jar包在我自己的Maven仓库下：F:\tools\LocalWarehouse\org\apache\spark\spark-core_2.11\2.2.0
有的人在C盘，视情况而定。

找到jar包右击用360压缩打开，然后进入org\apache\spark找到log4j-defaults.properties
修改第一行
log4j.rootCategory=INFO, console
改成
log4j.rootCategory=ERROR, console

---

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决办法：

https://github.com/srccodes/hadoop-common-2.2.0-bin下载winutils.exe到本地hadoop-x.x.x/bin下

然后自己的程序加一句：

System.setProperty("hadoop.home.dir", "F:\\hadoop-2.7.4")

HIVE出现

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

有可能是未初始化：
在bin目录下执行
./schematool -initSchema -dbType derby（如果你是mysql的话可以改成mysql）