Hadoop、Spark 搭建过程遇到的问题（win10环境）

最新推荐文章于 2022-05-21 13:58:49 发布

green_hunter

最新推荐文章于 2022-05-21 13:58:49 发布

阅读量322

点赞数

文章标签：大数据 java git

1、JAVA_HOME，在配置环境变量的时候，JDK安装时默认的program file 路径，有空格。这里在配置的地方，要将 C:\Program Files (x86)\Java 路径修改为 C:\Progra~1\Java 。否则hadoop启动会报错（JAVA_HOME is set incorrect）。

2、Hadoop 配置自身的HADOOP_HOME。下载hadoop-2.7.2.tar.gz，解压后的目录，不能有空格。

3、下载scala。在官网下载msi安装包。安装后，自动设置路径到PATH环境变量。

4、Spark配置自身的SPARK_HOME。下载spark-2.1.1-bin-hadoop2.7.tgz，解压后的目录，不能有空格。添加SPARK_HOME到PATH环境变量。

5、中文分词，找了jcseg。目前正在试用。（http://git.oschina.net/lionsoul/jcseg）