weixin_43230682的博客

目录案例需求实现步骤第一步：创建maven java工程，导入jar包第二步：自定义flume的拦截器第三步：打包上传服务器第四步：开发flume的配置文件第五步：上传测试数据第六步：node03启动flume并查看结果在前面的文章中Flume拦截器(interceptor)详解和静态拦截器综合案例实现对拦截器做了介绍，本文再结合具体案例对自定义拦截的使用作进一步介绍。案例需求在数据采集之后，通过flume的拦截器，实现不需要的数据过滤掉，并将指定的第一个字段..

目录一、自定义InputFormat二、自定义分区三、自定义排序四、自定义Combine五、自定义分组六、自定义OutputFormat一、自定义InputFormatmapreduce框架当中已经给我们提供了很多的文件输入类，用于处理文件数据的输入，如下图所示：当然，如果内部提供的文件数据类还不够用的话，我们也可以通过自定义InputFormat来实现文件数据的输入。案例实操1、需求现在有大量的小文件，我们通过自定义InputFormat实现将小文件全部

目录一、准备工作第一步：windows中的hadoop环境配置第二步：创建maven工程并导入jar包二、Java API开发实操一、准备工作 windows操作系统需要配置一下hadoop环境 mac本质上是unix系统，不需要配置 第一步：windows中的hadoop环境配置 windows操作系统需要配置一下hadoop环境 mac本质上是unix系统，不需要配置 1. 解压Hadoop安装包压缩文件到一个没有中文没有空格的目录下，类.

目录前言一、Java下载安装和配置1、下载Java安装包2、安装Java3、配置Java环境变量4、验证Java是否安装成功二、Maven下载安装和配置1、下载Maven安装包2、安装Maven3、配置Maven环境变量4、验证Maven是否安装成功三、IDEA下载安装和配置1、下载安装和破解：2、IntelliJ IDEA环境设置1）配置JDK2）配置Maven3）设置编译环境前言上周末在进行虚拟机升级的过程中直接导致操作系统瘫.

目录一、准备工作二、功能实现1、创建Maven工程并导入依赖2、编写自定义Mapper类3、编写自定义Reducer类4、编写自定义Runner类5、运行代码并查看结果在上一篇博客中实现了HBase表之间的数据迁移功能：HBase表之间的数据迁移（使用MapReduce实现）那么，本文继续结合小案例介绍如何使用MapReduce将HDFS中的数据写入到HBase表中。功能实现：一、准备工作1）启动好Zookeeper、Hadoop、HBase服务；[

目录一、环境准备1、启动服务2、创建Maven工程二、HBaseAPI1、编写一个Student类2、编写HBaseAPI类3、测试结果在前面我们已经安装和部署好了HBase服务，并对HBase的架构原理做了介绍：HBase1.3.3安装部署详细步骤HBase的架构、数据结构和进阶原理（读写流程、flush、合并、拆分）详解那么，本篇文章再结合具体的例子对HBase的java API做一个基本实现，具体如下：一、环境准备1、启动服务启动Zookeepe

目录一、案例需求：二、代码实现0、创建Maven工程并导入依赖1、自定义Mapper类ReadStudentMapper2、自定义Reducer类WriteStudentReducer3、自定义Runner类MRRunner4、运行代码和查看结果一、案例需求：在HBase中有一张测试用表"table777"，表中数据如下：现在需要从该表中抽取每一行数据的部分字段（name、phone），然后写入到HBase中的另一张测试用表"table777_mr"，使用MapR

目录## 7. 网络编程### 7.1 网络模型### 7.2 相关概念### 7.3 TCP### 7.4 UDP### 7.5 综合案例## 7. 网络编程### 7.1 网络模型**OSI模型**为了使不同计算机厂家生产的计算机能够相互通信，以便在更大的范围内建立计算机网络，国际标准化组织（ISO）在1978年提出了"开放系统互联参考模型"，即著名的OSI/RM模型（Open System Interconnection/Reference Model）。它将计

目录## 6.多线程### 6.1 多线程概念### 6.2 创建线程的方式### 6.3 线程常用的方法### 6.4 线程安全### 6.5 线程同步### 6.6 线程池## 6.多线程### 6.1 多线程概念**进程是什么(process)**对一个程序的运行状态, 以及在运行中所占用的资源(内存, CPU)的描述;一个进程可以理解为一个程序; 但是反之, 一个程序就是一个进程, 这句话是错的。进程的特点:- 独立性: 不同的进程之间是相互独

目录## 5. IO流### 5.1 File类#### 5.1.1 文件对象的构造#### 5.1.2 文件和文件夹的常用方法#### 5.1.3 文件过滤器### 5.2 流的分类### 5.3 字节流### 5.4 字符流### 5.5 转换流### 5.6 缓冲流### 5.7 序列化和反序列化流### 5.8 标准输入输出流### 5.9 打印流### 5.10 Properties类### 5.11 NIO和NIO.2## 5...

目录## 4.0 异常### 4.1 异常定义### 4.2 异常类的体系### 4.3 Exception的分类### 4.4 常见异常### 4.5 异常处理#### 4.5.1方式一：捕获异常#### 4.5.2方式二：声明抛出异常#### 4.5.3 异常类中常用方法### 4.6 自定义异常## 4.0 异常### 4.1 异常定义异常：就是程序在运行的过程中遇到的种种不正常的情况。特点：如果一个程序在运行中遇到了一个未经处理的异常，则这个异

目录### 3.0 API概述### 3.1 包装类### 3.2 object类### 3.3 String类### 3.4 StringBuilder、StringBuffer类### 3.5 Arrays类### 3.6 Date、 SimpleDateFormat 类### 3.7 集合#### 3.7.1 **Set**#### 3.7.2 HashSet#### 3.7.3 Map#### 3.7.4 HashMap#### 3.7.5 Lis

目录### 2.1 面向对象与面向过程### 2.2 类和对象### 2.3 类的定义### 2.4 **static关键字**### 2.5 private关键字### 2.6 this关键字### 2.7 构造方法### 2.8 封装### 2.9 继承#### 2.9.1 概述#### 2.9.2 继承的优缺点#### 2.9.3 super关键字#### 2.9.4 继承中的构造方法#### 2.9.5 继承中成员方法#### 2.9.6

目录- **两大特点：**- **三大体系:**### 1.1 JDK的安装与环境配置### 1.2 idea环境配置### 1.3 注释### 1.4 标识符### 1.5 数据类型### 1.6 变量和常量#### **1.6.1变量**#### **1.6.2 常量**### 1.7 数据类型转换### 1.8 常用运算符### 1.9 流程控制#### 1.9.1 顺序结构#### 1.9.2 分支结构#### 1.9.3 循环流程控制

前言在前面的两篇文章中分别介绍了Elasticsearch和head插件的安装部署：Elasticsearch5.2.2 安装部署与常见启动报错解决Elasticsearch head插件安装过程详解在本篇文章，将结合具体的例子重点介绍Elasticsearch Java API的操作。Elasticsearch的Java客户端非常强大；它可以建立一个嵌入式实例并在必要时运行管理任务。运行一个Java应用程序和Elasticsearch时，有两种操作模式可供使用。该应用程序可在Elasticsea

记录之前在使用idea编写Hive数仓UDF函数时遇到的一个问题，UDF函数编写完成之后测试运行没有问题，但是在打包的时候报错：Failure to find org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until

1.1 说一说自己对于 synchronized 关键字的了解 作用：synchronized关键字解决的是多个线程之间访问资源的同步性问题，synchronized关键字可以保证被它修饰的方法或者 代码块在任意时刻只能有一个线程执行。 另外，在 Java 早期版本中，synchronized属于重量级锁，效率低下，因为监视器锁（monitor）是依赖于底层的操 作系统的 Mutex Lo...

HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。Java为数据结构中的映射定义了一个接口java.util.Map，此接口主要有四个常用的实现类分别是HashMap、Hashtable、LinkedHashMap和TreeMap，类继承关系如下图所示：这几个实现类的区别与联系可以总结为以下几点：1）HashMap：非线程安全，是根据键的hashCode值来存...

上图：一、JVM 内存区域主要分为线程私有区域【程序计数器、虚拟机栈、本地方法区】、线程共享区域【JAVA 堆、方法区】、直接内存。1）线程私有数据区域生命周期与线程相同, 依赖用户线程的启动/结束 而 创建/销毁；2）线程共享区域随虚拟机的启动/关闭而创建/销毁；3）直接内存并不是 JVM 运行时数据区的一部分, 但也会被频繁的使用： 在 JDK 1.4 引入的 NIO 提供了基于 ...