2015年07月_沙漠662

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 hadoop mapreduce的job的几种运行模式

mr job的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner (main函数所在的类) 这种方式会将这个job提交到yarn集群上去运行

2015-07-27 21:15:01 899

原创 hadoop2.4.1伪分布式搭建

1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->

2015-07-25 11:04:33 336

原创 Hadoop hdfs增删该查简单写法

package cn.itheima.bigdata.hadoop.hdfs;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import

2015-07-25 11:02:03 448

原创 hadoop Hdfs文件上传下载

package cn.itheima.bigdata.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.io.IOUtils;import org.apache.hadoop.co

2015-07-25 11:00:26 711