前提:Linux系统已部署完成Hadoop集群并已启动,在Windows系统可以通过IP:50070查看HDFS文件系统
配置过程:
1. Windows系统下安装JDK并配置环境变量
2. Windows系统配置Hadoop环境变量
配置HADOOP_HOME
配置Path
配置CLASSPATH:
其中需要在hadoop2.6.0/bin目录下添加以下文件:
下载链接:https://download.csdn.net/download/cxx654/10383272
3. 修改HDFS集群文件系统权限:修改文件 hadoop-2.6.0/etc/hadoop/hdfs-site.xml,增加如下内容:
<configuration>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4. 配置C:\Windows\System32 目录内容,增加如下文件:hadoop.dll、msvcr100.dll
5. 创建Java Project项目,导入相关jar包,需要导入的jar包如下:
a) hadoop-2.6.0\share\hadoop\common\hadoop-common-2.6.0.jar
b) hadoop-2.6.0\share\hadoop\common\lib\ 目录下的所有jar文件
c) hadoop-2.6.0\share\hadoop\hdfs\hadoop-hdfs-2.6.0.jar
d) hadoop-2.6.0\share\hadoop\hdfs\lib\目录下的所有jar文件
6. 在src文件夹下创建以log4j.properties命名的文件,文件内容如下:
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
配置过程:
1. Windows系统下安装JDK并配置环境变量
2. Windows系统配置Hadoop环境变量
配置HADOOP_HOME
配置Path
配置CLASSPATH:
其中需要在hadoop2.6.0/bin目录下添加以下文件:
下载链接:https://download.csdn.net/download/cxx654/10383272
3. 修改HDFS集群文件系统权限:修改文件 hadoop-2.6.0/etc/hadoop/hdfs-site.xml,增加如下内容:
<configuration>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4. 配置C:\Windows\System32 目录内容,增加如下文件:hadoop.dll、msvcr100.dll
5. 创建Java Project项目,导入相关jar包,需要导入的jar包如下:
a) hadoop-2.6.0\share\hadoop\common\hadoop-common-2.6.0.jar
b) hadoop-2.6.0\share\hadoop\common\lib\ 目录下的所有jar文件
c) hadoop-2.6.0\share\hadoop\hdfs\hadoop-hdfs-2.6.0.jar
d) hadoop-2.6.0\share\hadoop\hdfs\lib\目录下的所有jar文件
6. 在src文件夹下创建以log4j.properties命名的文件,文件内容如下:
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d%p [%c] - %m%n