hadoop 学习笔记

基于hadoop的贝叶斯文本分类器实现过程

贝叶斯基础理论（这个东西的项目概览）

对这个工程总体的流程可以参考这个文献里面的做法即可

参考文献1

远程原件目录

/user/coderlau/input

hadoop文件系统命令行主要是hdfs

对于初学者而言，在这个地方主要是注意两个地方即可，一个是Linux 环境下本身的文件路径，和HDFS系统远程文件系统，这是两个不同的东西

hadoop 执行源码情况

hadoop jar 源码打包成的jar 文件情况（关于这部分设计到如何去打包一个Java项目， 然后上传到服务器进行运行(这里的服务器是指Linux系统概念情况)）

编程实践

主要是理解两个过程，一个map和reduce ,关于这个可以查看官方的文档资料等情况

官方文档

根据自己写的代码情况 自己定义参数情况

自定义参数情况

主要是主程序中的入口问题

程序编写

1. mapper 程序部分 Mapper 接口

   • 在写正式的程序之前需要设置一些变量情况

     主要是context 中的key 和value的设置， 分别定义一个 InWritable one = new InWritable

     和一个Text word , 这里面的Text 和word 其实即使 后面Map的输出结果context中的两个参数

     map 中的数据处理来源其实就是 map 方法中的参数 Text value

   • setup 方法（）

   • map（）干活的方法(也是重写模块)

   • While(循环进行统计)

   • mappe函数的一个输出情况，context.write(key, new InWritable(1); // output’s type is: Context

   context.write(new Text(className + “/” + word), new IntWritable(1));\

在这里要注意的地方是 InWritable 对象可以在后面进行创建，也可以在前面进行创建

1. reducer程序 Reducer 部分

   • @Override
         protected void reduce(
     

   context(key, new IntWritable(sum)) sum是Java中的原始数据， 要进行转换成为

2. 然后在主程序中进行调用上述参数

   • Configuration conf = new Configuration()
   • 可以对上述参数进行一系列的设置等情况
   • Job 进行一些列的设置情况
   • 然后设置参数
     • 主要是文件的输入格式和输出格式等情况书写
     • FileInputFormat.setInputPaths(conf, new Path(otherArgs[0]));
     • FileOutputFormat.setOutputPath(conf, new Path(otherArgs[1]));

程序代码案例

Hadoop 中最基本的词语统计功能

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org