景子墨的博客

原创 1024万岁~~~~

1024！

原创 2019-9-25 [HBase] 思维导图

原创 2019-9-17 [Hive] avg() 源码 - 思维导图

原创 2019-9-17 [Hive] sum() 源码 - 思维导图

原创 2019-9-15 [Hive] 思维导图

原创 2019-9-10 [MapReduce] MapReduce的源码抽取--- 思维导图

BaseMR顾名思义，就是把MapReduce的核心抽取出来，组成utils，同时再把输入和输出模块化，从而减少具体业务的代码量，本项目的业务只有三个，wordcount，minmax，disticnt，其中minmax的输入需要disticnt的输出来充当。ps：BaseMR是MapReduce的深层智慧结晶，它代表了MapReduce深厚的技术水平，...

原创 2019-9-9 [MapReduce] 如何利用MapReduce写一个类 - 思维导图

原创 2019-9-7 [MapReduce] JOB配置 加载机制 -思维导图

原创 2019-9-5 [MapReduce] 思维导图

原创 2019-9-4 [MapReduce] combiner实现map到reduce之间先聚合一遍

//combiner上接map的输出，下接reduce的输入 private static class MyCombiner extends Reducer<Text, IntWritable, Text, IntWritable>{ //定义reduce阶段需要的变量 private IntWritable outval = new IntWritable(); ...

原创 2019-9-4 [MapReduce] run：获取counter信息并输出

Counters设置在job的后面//执行job count = job.waitForCompletion(true)?0:-1; //counter是job执行后的统计信息 Counters cs = job.getCounters(); System.out.println("Counter count"+cs.countCo...

原创 2019-9-4 [MapReduce] （400MB以下）小数据：查找TOP5

/** * MyMRRunProcess.java * com.hnxy.mr * Copyright (c) 2019, 子墨版权所有. * @author ZIMO * @Date 2019年9月4日 */public class MyMRRunProcess extends Configured implements Tool{ /** * MAP CLAS...

原创 2019-9-3 [MapReduce] 如何不用log4j打印counter

//counter是job执行后的统计信息 Counters cs = job.getCounters(); System.out.println("Counter count"+cs.countCounters()); for (CounterGroup cg : cs) { System.out.println("\t"+cg.getDisplayName()); fo...

原创 2019-9-2 [MapReduce] Reduce.class 源码分析

1.run public void run(Context context) throws IOException, InterruptedException { setup(context); try { while (context.nextKey()) { reduce(context.getCurrentKey(), context.getVa...

原创 2019-9-2 [MapReduce] Mapper.class 源码分析

1.runpublic void run(Context context) throws IOException, InterruptedException { setup(context); try { while (context.nextKeyValue()) { map(context.getCurrentKey(), context.getC...

原创 2019-9-2 [MapReduce] WordCount 统计词汇出现次数

/** * 自定义wordcount类 * @author Zimo * @Date 2019年9月4日 */public class MyWordCount extends Configured implements Tool{ //定义自己的map类M类.class private static class MyMapper extends Mapper<L...

原创 2019-9-1 [Map] 过滤掉空行数据

查看io录入格式：System.out.println(Arrays.toString(strs));if (null != strs && strs.length > 0 && Arrays.toString(strs).length() > 2) { //正确数据 context.getCounter("数据行信息", "有...

原创 2019-9-1 [Map] 利用流式处理GBK乱码

//定义自己的map类M类 private static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { //定义需要用到的变量 private Text outkey = new Text(); private IntWritable outval = new IntWri...

原创 2019-9-1 [MapReduce] 简易去重功能

public class myDis extends Configured implements Tool { // 自己的map -- map task private static class MyMapper extends Mapper<LongWritable, Text, Text, NullWritable>{ // 在map函数外部定义需要用到的变量!...

原创 2019-8-31 [Java] 面试题：根据数据大小 进行排序展示

文章目录1.需求：2.分析3.实现代码4.比较器5.效果1.需求：根据使用量将下列数据进行排序 然后按照使用量的高低进行 数据展示读取以下文档，按照大小排序，1G>1024M>1024K>1024B396.9 K /user/007593.5 K /user/12_hl0 /user/1LB0 /user/96256701....

原创 2019-8-30 [Hadoop_YARN] 思维导图

原创 2019-8-29 [Hadoop_HDFS] 思维导图

原创 2019-8-27 [Hadoop_Zookeeper] 思维导图

原创 2019-8-26 [Hadoop] 思维导图

原创 2019-8-29 [Java] 面试题：读取一个文档，并统计出其中重复性单词的TopN

文章目录1.需求：2.分析3.实现代码4.比较器5.API6.思想1.需求：取文档，并统计出其中重复性单词的TopN、2.分析利用IO流将文档的单词读取将其存为map的K,V，新的单词记为K，出现次数记为V，利用比较器进行比较，遇到重复的单词找到他对应的V加一。3.实现代码import java.io.BufferedReader;import java.io.FileReade...

原创 2019-8-28 [Linux] Centos7 的/usr/tmp自动清理系统 删除后出现systemd-private 类似文件夹怎么办

一. 系统自动清理在Centos 7下，系统使用systemd管理易变与临时文件，/tmp目录的清理规则主要取决于/usr/lib/tmpfiles.d/tmp.conf文件的设定，默认的配置内容为：# Clear tmp directories separately, to make them easier to overridev /tmp 1777 root root 10d ...

原创 2019-8-27 [Hadoop] zookeeper选举机制

假设我们现在有3台服务器组成的zk集群。nn1,nn2,s1首先nn1启动了，此时它投票给自己,发出的选票为nn1，但是就他一台server，他的状态自然为Looking（观察者）。nn1->nn1然后nn2启动了，此时他发起了新的投票，他先投票给自己,发出选票nn2，并且广播。nn2->nn2此时nn1接收到了nn2的投票信息，发现他的逻辑时钟大于自己，于是自己旧的投票（n...

原创 2019-8-25 [Linux] 思维导图

原创 2019-8-24 [Linux] 15.搭建两台虚拟机实现互联组成一个小型网络 详细版

文章目录15.1.1 需求说明For advice on how to change settings please seehttp://dev.mysql.com/doc/refman/5.6/en/server-configuration-defaults.htmlFor advice on how to change settings please seehttp://dev.mysql.c...

原创 2019-8-24 [Linux] 14.SSH技术 加密原理 实施细节 修改、配置、创建、秘钥、登录、拷贝 多机相同操作 获取、IP、拼接、拷贝

文章目录14.1 SSH概述14.2 SSH加解密原理14.3 SSH实施细节14.3.1 修改主机名14.3.2 配置hosts 文件14.3.3 创建新用户并设置密码14.3.4 给新用户配置SSH秘钥14.3.4.1 给linux01 机器 luser 用户配置SSH秘钥14.3.4.2 给linux02 机器 luser 用户配置SSH秘钥14.3.5 指定用户登录其他机器14.3.6 拷...

原创 2019-8-24 [Linux] 13.Shell编程 Shell的基本结构 脚本的运行 多命令运行 变量与运算符 数组的使用分支语句 循环结构 字符串操作 函数的应用

文章目录13.Linux Shell13.1. Shell 概述13.1.1 什么是Shell13.1.2 Shell的分类13.2. Shell 使用13.2.1 echo 命令的使用【例 2】echo -e参数演示13.2.2 shell简单使用13.3 Shell的基本结构第一行"#!/bin/bash"第二行：注释第三行：程序的主体13.4 在 Linux 中，脚本的运行主要有以下两种方法...

原创 2019-8-24 [Linux] 13.Vim文本编辑器 命令模式 输入模式 编辑模式 保存 光标移动 注释 配置文件

文章目录13.linux VIM文本编辑器13.1 vim概述13.2. VIM的使用13.2.1 vim的三种工作模式1. Vim的命令模式2. Vim的输入模式3. Vim 的编辑模式13.2.2 vim的基本使用13.2.2.1 Vim 打开文件13.2.2.2 使用 Vim 进行编辑Vim 插入文本Vim 查找文本使用 Vim 进行查找Vim 替换文本Vim删除文本Vim复制文本13.2....

原创 2019-8-23 [Linux] 12.硬盘管理 文件系统 硬盘df展示数据 du统计目录和文件大小 mount使用挂载光驱、硬盘、U盘

文章目录11.硬盘管理11.1 硬盘概述/etc/fstabCreated by anaconda on Thu May 30 12:24:49 2019Accessible filesystems, by reference, are maintained under '/dev/disk'See man pages fstab(5), findfs(8), mount(8) and/or bl...

原创 2019-8-23 [Linux] 11.网络服务管理 natest命令 查看本机开启的端口 访问端口的方式 状态 查看连接

文章目录11.Linux的网络服务管理11.1 netstat 命令的基本信息如下。11.2 查看本机开启的端口。11.2.1 Proto：11.2.2 Recv-Q：11.2.3 Send-Q：11.2.4 Local Address：访问端口的方式11.2.5 ForeignAddress：远程主机的 IP 地址和端口号。11.2.6 State：状态。常见的状态主要有以下几种。11.3 查看...

原创 2019-8-23 [Linux] 10.内存与CPU管理 内存查看free CPU查看

文章目录10.linux的内存CPU管理10.1 linux的内存管理10.1.1 free 命令10.2 linux的CPU信息查看案例 : 查看CPU 信息10.linux的内存CPU管理10.1 linux的内存管理10.1.1 free 命令可以查看系统内存和 swap 交换分区的使用情况，其输出和 top 命令的内存部分非常相似。free 命令格式如下：[root@local...

原创 2019-8-23 [Linux] 9.linux的简单运维 什么是进程 进程管理 查看进程：ps 终止指定进程:kill 实时监控:top (windows任务管理器)

文章目录9.linux的简单运维9.1 linux的进程管理9.2 什么是进程9.2.1 进程的定义9.2.2 进程与程序9.2.3 进程分类9.2.4 调用过程(为方便满足多用户操作需求)9.3 进程管理9.3.1 查看进程：ps1）列出目前所有的正在内存当中的程序-aux 查看系统中所有的进程，使用BS操作系统格式(带CPU和内存信息)-ef 查看系统中所有的进程，使用Linux标准命令格式...

原创 2019-8-22 [Linux] 8.软件的安装 复制与粘贴 RPM yum安装常用软件 压缩：tar zip 命令 unzip 命令

文章目录8.linux常用软件的安装8.1 在终端下：8.2 在控制台下：8.linux常用软件的安装8.1 在终端下： 复制命令：Ctrl + Shift + C 组合键. 粘贴命令：Ctrl + Shift + V 组合键.8.2 在控制台下： 复制命令：Ctrl + Insert 组合键　　或　　用鼠标选中即是复制。 粘贴命令：Shif...

原创 2019-8-22 [Linux] 7.建立文件和目录 目录结构 建立/移动/复制/删除目录/文件 改变文档所有权/文档权限 输入输出重定向/管道

文章目录7.建立文件和目录7.1 linux 目录结构7.2 建立文件和目录2.1 建立目录：mkdir7.2.2 建立一个空文件：touch7.3 移动、复制和删除目录/文件7.3.1 移动和重命名：mv文件重命名7.3.2 复制：cp7.3.3 删除：rm7.4 改变文档所有权、文档权限7.4.1 改变文档的所有权：chown(change own)7.4.2 改变文件的所属组：chgrp7....

原创 2019-8-20 [Linux] 6.Shell的基本操作 查看 改变 列出 阅读开头/结尾 循环查看 阅读工具less 查找文件内容 文本分析工具AWK 文本编辑工具SED文件find 帮助man

文章目录6.linuxShell的基本操作6.1 查看目录和文件6.1.1 显示当前目录：pwd6.1.2 改变目录：cd6.1.3 列出目录内容：ls1) 查看列表信息 以及详细信息2) 查看列表的不详细信息包括隐藏目录3) 查看列表所有详细信息包括隐藏目录4) 将 ls -l 命令结果反过来显示5) 按照更新时间降序排序6) 按照更新时间升序排序【r:反转】7) 查看一下当前家目录和其他指定目...

原创 2019-8-20 [Linux] 5.Linux文件与目录管理 文件基本属性 节点连结数 如何读取数据的 链接概念 ln命令

文章目录5.Linux文件与目录管理5.1. Linux 文件基本属性5.2 inode 节点连结数5.3 inode 是什么？5.4 inode 的内容5.5 Linux 是如何读取数据的？5.6 inode是干啥的呢?5.7 Linux 链接概念5.7.1 硬连接5.7.1 软连接5.8 Linux ln命令5.Linux文件与目录管理5.1. Linux 文件基本属性Linux系统是一...