Hadoop 开发环境配置

搭建环境，目前网络上一个比较全面细致的文档是：

<a href="http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/">tutorial</a>

按照这个配置好了后，一般都能正常启动，简单的检查，就是在bash 执行jps命令，看datanode, namenode, jobtracker,tasktracker 以及secondarydatanode是否启动了。没有查看日志：{$hadoop.home}/logs。

Core-site.xml

<configuration>

<property>

  <name>hadoop.tmp.dir</name>

  <value>/app/hadoop/tmp</value>

  <description>A base for other temporary directories.</description>

</property> 

<property>

  <name>fs.default.name</name>

   <value>hdfs://10.240.12.52:54310</value>

</property>

</configuration>

 

Mapred-site.xml

<configuration>

<property>

  <name>mapred.job.tracker</name>

  <value>10.240.12.52:54311</value>

</property>

</configuration>

 

Hdfs-site.xml

<configuration>

<property>

  <name>dfs.replication</name>

  <value>1</value>

</property>

</configuration>

注意：不管那种方式部署hadoop，如果你的操作系统为Windows, 都必须安装cygwin,同时加入到path中去。

不然会有很多错误，如chmod 没有找到之类。

以下为正确配置后，Eclipse 上运行word count程序的输出，hadoop 版本0.20.2, eclipse plugin version 0.20.*snap*.jar。 

在插件配置过程中，需要注意的地方主要是dfs的路径，用户名，ssh一定要配置正确，出现问题主要看看日志，基本上你能碰到的问题，总会有其他人也碰到，如果看了日志还解决不了，找google，实在不行，看源代码。

话说我3个配置文件就是看了源代码自己摸索出来的。

11/09/19 16:41:08 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

11/09/19 16:41:08 INFO input.FileInputFormat: Total input paths to process : 3

11/09/19 16:41:09 INFO mapred.JobClient: Running job: job_local_0001

11/09/19 16:41:09 INFO input.FileInputFormat: Total input paths to process : 3

11/09/19 16:41:09 INFO mapred.MapTask: io.sort.mb = 100

11/09/19 16:41:09 INFO mapred.MapTask: data buffer = 79691776/99614720

11/09/19 16:41:09 INFO mapred.MapTask: record buffer = 262144/327680

11/09/19 16:41:09 INFO mapred.MapTask: Starting flush of map output

11/09/19 16:41:09 INFO mapred.MapTask: Finished spill 0

11/09/19 16:41:09 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting

11/09/19 16:41:09 INFO mapred.LocalJobRunner:

11/09/19 16:41:09 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.

11/09/19 16:41:09 INFO mapred.MapTask: io.sort.mb = 100

11/09/19 16:41:10 INFO mapred.MapTask: data buffer = 79691776/99614720

11/09/19 16:41:10 INFO mapred.MapTask: record buffer = 262144/327680

11/09/19 16:41:10 INFO mapred.JobClient:  map 100% reduce 0%

转载于:https://www.cnblogs.com/abelstronger/articles/2181818.html