hadoop 学习笔记

1. 首先要先下载hadoop,可以直接在hadoop的官网上下载,但是在1.0.3版本以上的hadoop我找不到eclipce-plugins这个文件(这是一个插件,用在eclipce上).而且这个插件要对应同样的版本.
2. 解压到opt文件夹下
3. 设置权限拥有者   chown -hR username:username hadoop.1.0.3.gz (这个很重要,如果没有这一步,我蛋疼了很久,因为我无法成功启动hadoop
4. 设置hadoop的启动项,写到.bashrc文件下,并且重启机器
5. 编写配置文件,都比较简单

       

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- mapred-site.xml source. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- core-size.xml source. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property>

<property>   <!--指定特定的tmp文件,如果不指定,他默认是tmp文件下-->
<name>hadoop.tmp.dir</name> 
<value>/home/mile/tmp</value> 
</property> 
</configuration>

    

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- hdfs-size.xml source -->

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>  <!--备份数量  -->
</property>
</configuration>

1. 这一步很重要,要修改你存的tmp文件的权限和拥有者,如果不修改就悲剧了,hadoop无法启动
2. 配置ssh
3. 测试hadoop是否已经启动了  可以查看网址  http://localhost:50070(50030,50040)
4. 注意要先初始化  hadoop namenode -format  看一下生成的tmp路径,然后修改其权限
5. 在开始之前一定要先结束 stop-all.sh

 

 

• 配置eclipce

1. 首先把那个包搞上去.把eclipce-plugins.jar放到plugins文件下.然后打开eclipce就可以在项目中看到mapReduce了,但是现在打不开这个项目,因为还没有配置路径.有一条蓝色的字,点开他配置好路径就可以了.
2. 下一步是建立location,点击window->show view->map/reduce location,然后设置就可以了.但千万不要写反了,第一个是mapred-size.xml文件下的地址,一般是9001,第二个是localhost的地址,是9000.写反了是会报错的.但是写反后再纠正过来要refresh一下.