这里主要还是讲解之前说的问题的第二个思路,上一个思路主要是将json格式的数据转化为了map的形式,然后重写map中的toString方法,规范他们的输出格式
这就相当于是一个间接的方法,当然在此时我们就得想想,有没有什么直接的思路和方法,对于这个问题而言就是如果我们用直接的思路,无非就是化繁为简,所谓的化繁为简及我这里就是给他的转换。将陌生的转化为我们熟悉的,在熟悉的领域中解决问题
json格式的数据,我们是比较陌生的,作为一个小白而言,这个确实是比较陌生的,但是我们熟悉的是什么呢,是字符串,所以这里就是直接的思路,就是将json格式的数据转化为字符串,然后在字符串中,规定好他输出什么样的内容
文件中修改数据的格式其实全部在于Mapper阶段的代码。Maapper阶段的代码主要就是处理数据了
所以这里的话,我提供的也就是Mapper阶段的代码
import net.sf.json.JSONObject;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
/*
- 这是第二个解决天气数据的方式,他与我第一次的思路一样,都是将json的数据转化为字符串类型的
- 只不过当初我并没有找到合适的手段,所以就直接放弃了
- 现在这个文件实现这个思路石永红的手段是这样的
- 首先就是给他转化为字符串
- 然后创建一个数组,哪个数组的长度就是对应着你这个一行数据需要处理的个数
- 然后调用JsonObject中的getString方法,根据你前面的那个字符然后将你的数据一个个存在数组里
- 由于数据量大,所以我们这里用循环,循环的目的就是一个个的给他拼接,这也是为什么创建一个StringBuffer对象的原因了
- 当然,这里还得考虑你两个单词之间的逗号,这里就是在循环里面设了一个if然后用来判断,这里就是如果下一个i+1不等于
- 你这个数组长度,这个时候,及时需要给他隔开了*/
public class ReverseMap2 extends Mapper<LongWritable, Text,Text, NullWritable> {
Text k=new Text ();
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line=value.toString ();
JSONObject jsonObject=JSONObject.fromObject (line);
String[]words=new String[5];
words[2]=jsonObject.getString ("city");
words[0]=jsonObject.getString ("date");
words[3]=jsonObject.getString ("weather");
words[1]=jsonObject.getString ("temp");
words[4]=jsonObject.getString ("wind");
StringBuffer buffer=new StringBuffer ();
for (int i=0;i<words.length;i++){
buffer.append (words[i]);
if ((i+1)!=words.length){
buffer.append (",");
}
}
k.set (buffer.toString ());
context.write (k,NullWritable.get ());
}
}
其他的都一样