XuanAlex的博客

一、Java中常用的排序算法一、简介1、稳定排序与不稳定排序2、内排序与外排序3、十大内部排序算法4、十大内部排序汇总4、各种内部排序方法性能比较5、排序算法的选择二、排序算法介绍1、堆排序2、冒泡排序3、快速排序4、归并排序5、（简单）选择排序6、（直接）插入排序7、计数排序8、Shell排序![在这里插入图片描述](https://img-blog.csdnimg.cn/202.

二、Hive高级知识进阶一、常用的查询函数1、Like 和 RLike用法2、Group By 语句3、Having 语句4、Join 语句5、排序6、分区（Distribute By）7、Cluster By二、常用内置函数1、NVL：空字段赋值2、CASE WHEN THEN ELSE END3、行转列4、列转行5、窗口函数（开窗函数）三、自定义函数1、自定义函数分类2、编程步骤以下是本篇文章正文内容，如有错误麻烦请指出。 谢谢 ！！！一、常用的查询函数1、Like 和 RLike用法.

一、Sqoop常用的关系型数据库导入与导出一、简介二、sqoop-import命令使用2.1、Sqoop查看关系型数据库信息2.2、关系型数据库数据导入到HDFS上2.3、关系型数据库数据导入到Hive上三、sqoop-export命令使用3.1、全量导出HDFS数据到MySQL3.2、导出HDFS数据到MySQL关于参数‘--update-mode’的应用四、sqoop-job命令使用4.1 创建Job任务以下是本篇文章正文内容，如有错误麻烦请指出。 谢谢 ！！！一、简介 Sqoop是一个.

第二部分：Redis数据库的三种模式（③：Cluster 集群模式）一、集群简介1、描述2、集群作用二、Redis 集群结构设计1、描述2、数据存储设计3、集群内部通讯设计4、Redis 集群节点的删除和添加5、Redis 集群的主从复制模型6、集群的特点以下是本篇文章正文内容，如有错误麻烦请指出。 谢谢 ！！！一、集群简介1、描述 Redis Cluster是一种服务器 Sharding 技术，3.0版本开始正式提供; Redis 的哨兵模式基本已经可以实现高可用，读写分离 ，但是在这.

第二部分：Redis数据库的三种模式（②：主从复制）一、哨兵模式简介1、哨兵模式描述2、哨兵模式作用二、启用哨兵模式1、配置哨兵三、哨兵工作原理1、主从切换2、监控阶段3、通知阶段4、故障转移阶段以下是本篇文章正文内容，如有错误麻烦请指出。 谢谢 ！！！一、哨兵模式简介1、哨兵模式描述 哨兵模式是一个分布式系统，是Redis的一种特殊模式。用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的Master并将所有Slave连接到新的Master; 哨兵是一个独立的进程，作.

第二部分：Redis数据库的三种模式（①：主从复制）以下是本篇文章正文内容，如有错误麻烦请指出。 谢谢 ！！！

第一部分：Redis数据库的简介与应用前言一、Redis简介1、NoSql 数据库2、不同数据库应对场景介绍3、Redis相关介绍二、Redis应用场景1、场景介绍2、八种不同应用场景说明3、不同数据类型应用的场景前言Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bi.

一、MapTask工作机制1、MapTask工作机制示意图2、MapTask工作机制过程详解 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。 （3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出

一、简介1、介绍说明Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。2、Shuffle示意图二、Partition分区1、默认分区 问题引出要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同的文件中。默认Partitioner分区public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@lin

一、流程示意图1、MapReduce流程示意图12、MapReduce流程示意图2二、流程示意图详解 流程详解上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下：1） MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中2） 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件3） 多个溢出文件会被合并成大的溢出文件4） 在溢出过程及合并的过程中，都要调用Partitioner进行分区

一、InputFormat数据输入1、切片与MapTask并行度决定机制 1. 问题引出MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？ 2. MapTask并行度决定机制数据块： Block是HDFS物理上把数据分成一块一块。数据切片： 数据切片只是在

一、MapReduce的概述1、定义2、MapReduce的优缺点 优点 缺点二、MapReduce的应用1、MapReduce核心思想的示意图步骤：1）分布式的运算程序往往需要分成至少2个阶段。2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非

一、HDFS的读数据流程 补充一个问题当我们 NameNode 挂掉，SecondaryNameNode作为新的NameNode上位时，它确实可以根据fsimage.ckpt把一部分元数据加载到内存，可是如果这时还有一部分操作日志在edits new中没有执行怎么办? 解决方案其中一个解决方案就是利用一个network fileSystem来解决，比如说集群中有一个服务器安装了一个nfs server，而在NameNode上再安装一个nfs client，此时客户端向HDFS写数据时，同时把向ed

一、

说明：【一、CDH5.16.2集群之VMware-workstation-14安装】【二、CDH5.16.2集群之三台虚拟机安装】【三、CDH5.16.2集群之三台虚拟机配置网络配置】【四、CDH5.16.2集群之XShell连接虚拟机】一、集群前期配置1、安装JAVA（三台虚拟机都执行） 卸载自带的Java执行：rpm -qa | grep -i java 执行如下命令卸载上图中箭头所指的四个jdkrpm -e --nodeps java-1.8.0-openjdk-1.8.0

说明：VMware安装请查看之前【一、CDH集群之VMware-workstation-14安装】虚拟机安装请查看之前【二、CDH集群之三台虚拟机安装】【三、CDH集群之三台虚拟机配置网络配置】一、通过XShell连接三台虚拟机1、分别打开三台虚拟机终端，使用root用户2、修改主机名：（三台虚拟机都执行）hostnamectl set-hostname cdh13、更改hosts文件：（三台虚拟机都执行）通过vi /etc/hosts 添加如下三台虚拟机信息4、关闭防火墙，并查

说明：VMware安装请查看之前【一、CDH集群之VMware-workstation-14安装】虚拟机安装请查看之前【二、CDH集群之三台虚拟机安装】一、虚拟机配置

VMware安装请查看之前【一、CDH集群之VMware-workstation-14安装】一、虚拟的基本内存分配总共安装三台虚拟机，每台虚拟机的内存分配如下： 第一台：内存8G 第二台：内存8G 第三台：内存6G二、虚拟机安装1、打开VMware，并点击创建新的虚拟机2、选中“自定义”安装，并点击下一步3、根据提示点击下一步4、选择下载好的镜像文件并点击下一步5、设置信息6、虚拟机名称、安装位置都可以自己修改7、设置处理器信息并点击下一步8、设置虚拟机的内存大

一、安装VMware-workstation-141、启动下载的VMware-workstation-14软件并点击下一步2、接收许可协议并点击下一步3、在“1”中修改安装目录并点击下一步4、在“1”中可以取消勾选不要检查版本更新并点击下一步5、勾选创建桌面快捷方式开始菜单程序文件夹并点击下一步6、点击安装并等待完成7、点击许可证8、输入秘钥CG54H-D8D0H-H8DHY-C6X7X-N2KG6，接着点击完成...

一、大数据概念二、大数据的特点大量（Volume）：顾名思义数据量非常大，达到TB级甚至EB级；高速（Velocity）：在处理数据上的速度比较快，分布式的运算；多样性（Variety）：在处理数据上可以处理结构化，非结构化的数据以及包括日志、音频、视频、地理位置等多类型的数据，比以往处理数据以文本和结构化的数据提出了更高的要求；价值密度（Value）：通过大数据我们可以分析数我们想...