夏夜的博客

04-hive开窗函数总结hive开窗函数官方描述：地址窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。引入:在 sql 中有一类函数叫做聚合函数,例如 sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚合为一行,一般来讲聚合后的行数是要少于聚合前的行数的。但是有时我们想要既显示聚合前的数据,又要显示聚合后的数据,所以就需要使用窗口。窗口最重要的就是分组和排序功能，对应的关键字是 partition by 和order by。窗口函数总结:函数名

介绍udaf,udtf函数的用法以及如何自定义UDF,UDAF,UDTF函数

02-hive字符串函数总结常用的字符串函数由上到下排列，最后的几个函数由于没有理解或者由于版本原因没有给出例子简介函数名返回类型函数描述举例结果字符串长度length(string A)int返回字符串A的长度select length('abcedfg');7字符串反转reverse(string A)string返回字符串A的反转结果select reverse('abcedfg');gfdecba字符串切割split(string

Hive 日期函数Hive Date Functions官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions函数名返回类型简介from_unixtime(bigint unixtime[, string format])string将UNIX时间戳转化为日期,可以设定日期格式unix_timestamp(string

Zookeeper入门一、 zookeeper 概述1.1 概述zookeeper 是一个开源的分布式协调系统，为分布式应用提供协调服务的Apache项目。工作机制： 从设计角度：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookeeper上个注册的那些观察者做出相应的反应。 设计目标： 将那些复杂且容易出错的分布式服务封装起来，构成一个高效可靠的分布式服务框架，并

YARN详解一、 定义YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。YARN是一个资源调度器，在hadoop2.x中提出。二、YARN基本架构（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕

MapReduce详解一、 MapReduce概述1.1 定义定义 ： 是一个分布式运算程序的编程框架，是 Hadoop 内部编写的。功能 ： 用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 优缺点优点易于编程 — 底层实现了接口良好的扩展性 — 可增加节点高容错性 — 保证任务的完成适合PB级别以上的海量数据的离线处理 — 可实现服务器内节点并发工作缺点不擅长实时计算 — 无法做到毫秒或者秒级内返回结果不擅

HDFS 之 本地客户端操作3.1 Hadoop 客户端环境配置（1） Windows配置Hadoopa. 将Windows系统下的hadoop 拷贝到其他地方选择hadoop-3.0.0 拷贝到其他盘下，路径不能有中文。 这里是因为我电脑的原因，如果是hadoop3.1.3 的版本会运行不了，看选择。例如： 将 hadoop-3.0.0 文件夹拷贝到 E:\hadoop 下b. 配置 HADOOP_HOME 环境变量c. 配置 PATH 环境变量配置完这一步，大部分的电脑都可以

HDFS详解一、 HDFS 概述1.1 HDFS定义​ HDFS( Hadoop Distribution File System)， 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。​ HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2 HDFS优缺点（1）优点a. 高容错性数据自动保存多个副本。它通过

Hadoop集群启动常见错误注意：dfs是在NameNode的机器上起的服务，而yarn是在yarn-site配置时配置的那台机器上启动的服务。常见错误一：重复格式化对于新配置的集群，需要将集群格式化，这时会在hadoop的根目录下多了两个文件夹，一个是data另一个是logs。name和data的clusterID应该是一样的看logs下的该节点的namenode.log文件常见错误二：配置文件修改错误在配置文件的时候改错、多加都会导致集群启动异常，发生出错误后，可查看$HADOOP_H

Hadoop集群搭建一、环境准备（准备一台模板机）1.1 模板机配置 — hadoop100​ 模板机不动，为了后面方便克隆，直接添加新的节点​ 虚拟机要求：内存 4G ， 硬盘 50G， CentOS7，最小安装​ 这里以hadoop100为模板机，集群配置为hadoop102(nn)、hadoop103(yarn)、hadoop104(2nn)1.1.1 虚拟机安装​ 在另外写，如何安装一台虚拟机1.1.2 修改主机地址、主机名（1）修改IP地址//打开文件vi /etc/sysc

Hadoop生态介绍一、 大数据概述1.1 大数据主要处理的问题：大数据主要解决海量数据的存储和海量数据的分析计算问题。1.2 大数据特点 — 4V( Volume )大量( Velocity )高速( Variety )多样：结构、非结构化数据( Value )低价值密度二、 Hadoop2.1 Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop通常是指一个更广泛的概念

Shell 编程总结Shell 概述Shell 基本语法Shell 高级语法

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

Maven配置本文将主要讲述Maven的环境配置，以及如何创建Maven工程。本文提到Maven核心程序和本地仓库压缩包会放在资源下载。一、安装Maven核心在使用Maven之前需要安装Maven的核心程序以及本地仓库的必要设置，大致流程如下：检查 JAVA_HOME 环境变量解压Maven核心程序配置Maven的环境变量验证是否安装成功1.1 检查 JAVA_HOME 环境变量Maven是使用java开发的，所以必须知道当前系统环境中JDK的安装目录。在后续的hadoop中也是需

面向对象下十六、 抽象抽象类被abstract所修饰的类格式【权限修饰符】 abstract class 类名{}【权限修饰符】 abstract class 类名 extends 父类{}​抽象方法没有方法体的方法格式【其他修饰符】 abstract 返回值类型 方法名(【形参列表】);注意：抽象方法没有方法体特点1.抽象类不能创建对象，如果创建，编译无法通过而报错。只能创建其非抽象子类的对象。2.抽象类中，也有构造方法，是供子类创建对象时，初始化父类成员

面向对象中六、 封装性6.1 高内聚、低耦合高内聚：类的内部数据操作细节自己完成，不允许外部干涉低耦合：仅对外暴露少量的方法用于使用6.2 目的为了隐藏实现的细节，提高代码的可维护性便于使用者正确使用系统，防止错误修改属性有助于系统之间的松耦合，提高系统独立性提高软件的可重用性降低了构建大型系统的风险6.3 权限修饰符(四种)（从大到小）public​ 任意位置可见protected​ 本包下可见，在不同包下的子类可见缺省(default)​ 本包下可见priva

面向对象面向对象分成了上中下三个部分，由浅到深循序渐进，但这并不是最终的笔记，后面关于面向对象还需要补充一下内存图和类的执行顺序(面试必问)，最后再给出最终整理好的思维导图。面向对象学好了，后面的内容都会很轻松。虽然后面每个章节的知识关联性不强，但都会涉及到对象的创建和使用。面向对象上一、面向对象面向过程基本概念面向对象概述java语言是一种面向对象的语言，而面向对象思想（OOP）是一种程序设计思想。这里的“对象”泛指现实中一切事物，每种事物都具备自己的“属性”和“行为”。面向对象OOP

JavaSE知识总结(1) 续数组内存图简述：为什么要单独讲数组内存图呢？因为学习内存图对于Java来说，是理解Java代码运行时的关键，有助于更轻松地理解每一行代码的运行过程。这一部分内容必须要学会，后面的面向对象需要画很多的内存图才能理解代码发生的过程。一、了解内存图1 内存概述内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。只要计算机在运行中，CPU就会把需要运算的数据调到内存中进行运算，当运算完成后

JavaSE知识总结（1）（由思维导图转换，格式会有些错误，内容混乱，若有错误的地方，请大家帮忙改正）Java基础1、语言发展史计算机语言介绍定义：计算机编程语言就是人们可以使用编程语言对计算机下达命令，让计算机完成人们需要的功能发展史第一代：机器语言（相当于人类的原始阶段）第二代：汇编语言（相当于人类的手工业阶段）第三代：高级语言（相当于人类的工业阶段）​ C、C++、JAVA、PYTHON越来越接近人的思维，使用越来越方便Java语言特点1、高级语言2、Java之父​ 詹