- 博客(5)
- 收藏
- 关注
RSS订阅原创 关于Ubuntu20.04执行apt-get update没有Release 文件。
起因：本小白的Linux微信崩了（再次批评微信不发布官方版，如有大牛有更好的版本，欢迎留言交流。），找不到原因，曲线救国装wine，发现这个钉子户毛病，物理机不想重装，决定拔钉子！方法一：使用的源与系统不匹配，也可以理解为没有更新到最新的。以下提供Ubuntu20.04清华源：deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse# deb-src https://mi
2022-01-05 01:42:24
3439
1
原创 MapReduce
package com.hongyaa.mr.mobile.member;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Lo
2021-10-19 11:55:33
121
原创 WordCount单词统计笔记
1.在本机的/root目录下，依次创建文件夹data,文本文件word.txt.mkdir -p /root/datavim /root/data/word.txt键入i,进入编辑模式，输入如下内容：hello worldhadoop hdfsqingjiao hadoop hongyahdfs qingjiaoqingjiaohadoop hongya键入Esc，退出编辑模式，输入:wq保存退出。终端中执行HDFS shell命令。# 创建目录hadoop fs -mkd
2021-10-18 11:15:37
1265
原创 mapreduce循环笔记
mapreduce1_bean 首先要实现（implements）接口WritableComparable +<泛型>，后 定义所需要的变量，构造方法，编写get，set方法 其次 实现比较器 ，重写compareTo（类+自定义对象）方法 ，进行升序和降序 最后进行序列化 public void write(DataOutput out) throws IOException { out.writeUTF(word); out.wri
2021-10-18 11:04:33
160
原创 MapReduce排序和序列化
任务一：流量统计项目案例1.基本思路：实现自定义的 bean 来封装流量信息，并将 bean 作为 Map 输出的 key 来传输。2.MapReduce 程序在处理数据的过程中会对数据排序（Map 输出的 kv 对传输到 Reduce 之前，会排序），排序的依据是 Map 输出的 key， 所以，我们如果要实现自己需要的排序规则，则可以考虑将排序因素放到 key 中。任务二：WritableComparable 排序1.排序是 MapReduce 框架中最重要的操作之一。 MapTask 和 Re
2021-10-18 10:53:13
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人