MapReduce的另一实例,给天气预报数据规范格式并且输出3

这里主要还是讲解之前说的问题的第二个思路,上一个思路主要是将json格式的数据转化为了map的形式,然后重写map中的toString方法,规范他们的输出格式
这就相当于是一个间接的方法,当然在此时我们就得想想,有没有什么直接的思路和方法,对于这个问题而言就是如果我们用直接的思路,无非就是化繁为简,所谓的化繁为简及我这里就是给他的转换。将陌生的转化为我们熟悉的,在熟悉的领域中解决问题
json格式的数据,我们是比较陌生的,作为一个小白而言,这个确实是比较陌生的,但是我们熟悉的是什么呢,是字符串,所以这里就是直接的思路,就是将json格式的数据转化为字符串,然后在字符串中,规定好他输出什么样的内容
文件中修改数据的格式其实全部在于Mapper阶段的代码。Maapper阶段的代码主要就是处理数据了
所以这里的话,我提供的也就是Mapper阶段的代码
import net.sf.json.JSONObject;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
/*

  • 这是第二个解决天气数据的方式,他与我第一次的思路一样,都是将json的数据转化为字符串类型的
  • 只不过当初我并没有找到合适的手段,所以就直接放弃了
  • 现在这个文件实现这个思路石永红的手段是这样的
  • 首先就是给他转化为字符串
  • 然后创建一个数组,哪个数组的长度就是对应着你这个一行数据需要处理的个数
  • 然后调用JsonObject中的getString方法,根据你前面的那个字符然后将你的数据一个个存在数组里
  • 由于数据量大,所以我们这里用循环,循环的目的就是一个个的给他拼接,这也是为什么创建一个StringBuffer对象的原因了
  • 当然,这里还得考虑你两个单词之间的逗号,这里就是在循环里面设了一个if然后用来判断,这里就是如果下一个i+1不等于
  • 你这个数组长度,这个时候,及时需要给他隔开了*/
public class ReverseMap2 extends Mapper<LongWritable, Text,Text, NullWritable> {
    Text k=new Text ();
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line=value.toString ();
        JSONObject jsonObject=JSONObject.fromObject (line);
        String[]words=new String[5];
        words[2]=jsonObject.getString ("city");
        words[0]=jsonObject.getString ("date");
        words[3]=jsonObject.getString ("weather");
        words[1]=jsonObject.getString ("temp");
        words[4]=jsonObject.getString ("wind");
        StringBuffer buffer=new StringBuffer ();
        for (int i=0;i<words.length;i++){
            buffer.append (words[i]);
            if ((i+1)!=words.length){
                buffer.append (",");
            }
        }
k.set (buffer.toString ());
        context.write (k,NullWritable.get ());

    }
}

其他的都一样

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值