hadoop基础学习-环境及实践（一）

1.云计算的概念

狭义云计算是指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。

广义云计算是指服务的交付和使用模式，通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。

2.三层模型

Saas：more

Paas：hadoop

Iaas： openstack

3.google  VS  hadoop

google  calls  it:	hadoop  equivalent:
MapReduce	Hadoop
GFS	HDFS
Bigtable	HBase
Chubby	Zookeeper

3.hadoop的使用：

  编写map和reduce函数

 3.1  map  ：

   public static class TokenizerMapper 

       extends Mapper<Object, Text, Text, IntWritable>{

    

    private final static IntWritable one = new IntWritable(1);

    private Text word = new Text();

      

    public void map(Object key, Text value, Context context

                    ) throws IOException, InterruptedException {

      StringTokenizer itr = new StringTokenizer(value.toString());

      while (itr.hasMoreTokens()) {

        word.set(itr.nextToken());            

        context.write(word, one);             //设置 key  value

      }

    }

  }

说明： map的输出key 、value和reduce的输入key、value要一致，见上面红色部分

3.2 reduce

 public static class IntSumReducer 

       extends Reducer<Text,IntWritable,Text,IntWritable> {

    private IntWritable result = new IntWritable();

 

    public void reduce(Text key, Iterable<IntWritable> values, 

                       Context context

                       ) throws IOException, InterruptedException {

      int sum = 0;

      for (IntWritable val : values) {

        sum += val.get();                                    //聚集操作

      }

      result.set(sum);

      context.write(key, result);

    }

  }

说明： map的输出key 、value和reduce的输入key、value要一致，见上面红色部分

3.3 job的配置

 public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();

    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

    if (otherArgs.length != 2) {

      System.err.println("Usage: wordcount <in> <out>"); 

      System.exit(2);

    }

    Job job = new Job(conf, "word count");     //job name 

    job.setJarByClass(WordCount.class);

    job.setMapperClass(TokenizerMapper.class);

    job.setCombinerClass(IntSumReducer.class);

    job.setReducerClass(IntSumReducer.class);