- 博客(31)
- 收藏
- 关注
RSS订阅原创 Hive-时间日期&trunc-日期与数字截取函数
TRUNC函数为指定元素而截去的日期值。其具体的语法格式如下：TRUNC（date[,fmt]）1、current_timestamp() -- 获取时间 2022-10-09 16:00:24.1892、unix_timestamp() -- 获取时间戳 16653024983、select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') -- 获取指定格式的日期
2022-12-22 16:48:36
3822
1
原创 留存率分析
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-06-22 13:38:37
248
原创 Hive的Parquet存储与LZO压缩
在Hive中，为我们提供了五种文件存储格式1、Textfile2、Sequencefile3、Rcfile4、Orcfile5、Parquet这里主要介绍一下Parquet，列式存储一、概念1、Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Mapreduce、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera合作
2022-04-18 23:43:34
3758
原创 Hive的元数据存储与元数据表
一、元数据(metadata)元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据包括表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。元数据包含用Hive创建的database、table等的元信
2022-03-30 22:25:54
7041
原创 一篇文章搞懂Flink的状态（State）与容错机制（CheckPoint）
首先的话，先来介绍一下，Flink的状态1、首先 ，这个状态，放在内存2、每次我接受到数据，需要计算的时候，会在拿到数据之后，先去获取存储在内存中的状态，（比如我在求和，我就会先把状态里面的结果拿出来，然后跟现在的累加）3、拿到状态，进行运算，算完，去更新状态，然后数据继续往下走补充：状态不能跨任务访问，状态跟特定的算子关联算子需要预先注册其状态 注册个Flink一个并行度里面都有一个分区状态1、某个算子或者key当前的状态，因为处理的是实时数据，我们需要对这个状态进
2022-03-10 10:54:12
3122
2
原创 Spark：spark Yarn 的两种任务提交方式 && spark 任务调度流程
图是官方图，解释为本人理解，如果错误，望指出！Spark yarnyarn-client1、首先是各个NM节点向ResourceManager汇报资源情况，等待被分配，调用2、客户端提交任务申请，会在当前客户端启动一个Driver，然后向RS申请，启动 AM3、RS收到申请，会随机选择一台NM（节点）启动AM。4、AM启动之后，会向RS申请一批资源，用来启动Executor5、RS收到请求，会找到一批NM，返回给AM6、AM拿到资源之后，会去连接NM，然后启动Executor7、Exe
2022-03-02 10:59:41
1952
原创 Hadoop3完全分布式环境搭建 （附带相互免密）
1、环境准备提前准备三台虚拟机（最少三台，越多越好，不然，没钱你搞什么大数据????），构建三台虚拟机免登录为了方便使用 ，先把各自主机的端口号起一个别名这里是需要JDK版本支持的，我用是8版本（JDK安装这里就不说了，自行解决）Xshell有所有会话一起操作的功能，我们就直接一起进行修改1、开启所有会话2、修改【1、2、3】vim /etc/hosts添加三台虚拟机的端口号 我这里端口和名字分别对应192.168.25.129 node01192.168.25.130
2021-12-22 12:01:32
1943
原创 CAP原则
定义CAP定理是2000年，由 Eric Brewer 提出来的。Brewer认为在分布式的环境下设计和部署系统时，有3个核心的需求，以一种特殊的关系存在。3个核心：Consistency（一致性），Availability（可用性）和Partition Tolerance（分区性）CAP定理认为：一个提供数据服务的存储系统无法同时满足数据一致性、数据可用性、分区容忍性一致性1、一致性，这个和数据库ACID的一致性类似，但这里关注的所有数据节点上的数据一致性和正确性，而数据库的ACID
2021-12-19 22:18:55
261
原创 Maven编译插件
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.7.0</ver
2021-11-11 17:19:16
1140
1
原创 (已解决)vue-cli · Failed to download repo vuejs-templates/webpack: Response code 404 (Not Found)
今天做vue的时候，碰到了一个问题 困扰了我不少时间 也查了些文章，试了几种方法，最后，我是这样解决的。我的电脑开了代理模式代理模式关闭之后，就解决了！
2021-11-09 14:39:03
2339
1
原创 过滤器，监听器，拦截器区别
过滤器：对用户的请求和响应进行过滤 例如 ： 编码格式 幼儿园门口保安 不是这家幼儿园的娃，不给进这家幼儿园监听器：对整个程序中的事件进行监听，以及对生命周期的监听。拦截器：对请求的拦截，不拦截静态页面。例如权限控制，以及全局异常的处理例如： 淘宝商家有商家账号，普通用户，登录看到的信息，就和商家看到的不一样。例如：登录的时候，输入了没有符合格式或者不能对应上的数据，就会进行异常拦截，然后处理。...
2021-10-31 20:57:39
75
1
原创 回话跟踪技术以及登录页面记住我功能的实现
回话跟踪 每一次点击进来，服务端都会产生一次session会话，服务器端返回客户端一个cookie，cookie里存在着sessionId。cookie通过这个sessionId与session的匹配，实现会话跟踪。 例如淘宝：登录进去之后，我在点击具体的商品页面，后台就会拿cookie跟session进行匹配配对，对上了，就给你访问。当页面关闭之火，你的cookie也就结束了登录页面记住我...
2021-10-31 20:55:06
135
原创 VM ware的安装与Linux网络配置
这里我们选择安装的是发行版，对于日常test来说，足够了。镜像地址 我们这里选择的是CentOS7.6http://vault.centos.org/7.6.1810/1、安装安装路径改一下an内存，不知道就默认分配空间，后面快照拍多了，内存还是占的比较多的，建议给大点默认值就好，根据前面设置的完成...
2021-10-25 16:19:42
314
原创 如何理解约定大于配置
很多刚刚接触到框架的同学，都应该对这个约定大于配置这六个字有着不少的疑惑，个人从网上也找了些不同的见解。 简单来说，就是能使用默认，就使用默认。当存在特殊需求的时候，自定义配置即可。这样可以大大的减少配置工作，这就是所谓的“约定”。 例如spring boot
2021-10-19 19:52:26
2469
原创 Spring Boot 简介及功能案例 全
日志配置 在开发企业项目时，日志的输出对于系统 bug 定位无疑是一种比较有效的方式，也是项目后续进入生产环境后快速发现错误解决错误的一种有效手段，所以日志的使用对于项目也是比较重要的一块功能。 Spring Boot 默认使用 LogBack 日志系统，如果不需要更改为其他日志系统如 Log4j2 等，则无需多余的配置，LogBack 默认
2021-10-17 22:29:22
1115
原创 FreeMarker语法介绍与使用（完整版）
FreeMarker是什么？FreeMarker 是一款 模板引擎： 即一种基于模板和要改变的数据， 并用来生成输出文本(HTML网页，电子邮件，配置文件，源代码等)的通用工具。 其主要是将视图从业务逻辑中抽离处理，业务中不再包括视图的展示，而是将视图交给 FreeMarker 来输出。FreeMarker有什么特点？通用目标强大的模板语言通用数据模型为Web准备智能的国际化和本地化强大的XML处理能力环境配置pom.xmlpom.xml里添加依赖:Servlet、freemarke
2021-10-08 22:28:18
6033
1
原创 基于Spring的静态代理与动态代理的区别
welcome to my blogs代理模式的定义《大话设计模式》中对于代理模式的描述: 代理模式为其他对象提供一种代理以控制对这个对象的访问.通俗点说就是, 通过一个中间对象访问目标对象.代理模式在生活中的体现租房时需要看房, 往往是中介的人带着咱们去看房, 并不是直接由房东带着去看房. 注意到房子是属于房东的属性, 但是我们并没有通过房东访问这个属性, 而是通过中介访问这个属性, 这种看房子的方式就体现了代理模式的思想代理模式的分类根据代理类出现的时机, 可以将代理模式分成静态代理和动态
2021-10-05 12:43:01
755
原创 Maven的配置&IDEA的配置&聚合开发
1、Maven的配置2、IEDA的配置3、添加Jetty插件4、添加Tomcat插件5、聚合开发的配置1、Maven的配置下载maven 最新版即可，解压就可使用官网：http://maven.apache.org/download.html1）进入conf -->打开settings.xml，添加 < localRepository>E:/apache-maven-3.8.2/myRep< /localRepository>（本地仓库地址，可自行定义位置，切
2021-09-28 22:39:15
101
原创 JavaSE之注解小案例（利用反射）
package com.yjxxt.oop.basic.Work05.day01;import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;import java.lang.annotation.Target;import java.lang.reflect.Field;/* 注解解析器 水
2021-09-13 21:23:51
47
原创 java网络编程之UDP&&TCP
目录：一、Socket二、ServerSocket三、ServerSocket（多线程实现）1、UDP协议实现发送端和接收端(Socket)DatagramSocket类 ：定义发送端&&接收端DatagramPacket类：定义数据包，打包数据**数据是通过流传输的，所有需要定义字节数组接收，当然，也可根据需求转为其他切记：先启动接收端，在启动发送端，不然找不到接口发送端代码实现：package com.yjxxt.oop.basic.Work04.day06;
2021-09-11 22:25:24
70
原创 lambda表达式的五种写法& 四大内置函数式接口
/* Lambda表达式 作用: 简化匿名内部类对象 使用前提: 函数式接口 函数式接口: 只有一个必须被重写的抽象方法的接口称为函数式接口 检查函数式接口注解: @FunctionalInterface 强制检测 语法: () -> {} () : 要重写的抽象方法的参数列表 -> : 箭头函数 lambda符号 ,具有上下文
2021-09-08 09:29:29
1021
1
原创 java基础题目练习（持续添加）
控制语句 控制语句1、打印九九乘法表public class work01 { public static void main(String[] args){ for (int i = 1;i < 10;i++){ for (int j = 1;j <= i;j++){ if((i == 3 && j == 3) || (i == 4 && j == 3)){
2021-08-10 20:52:07
174
原创 gvim的安装配置与常用命令
对于程序的初学者来说，直接使用开发工具，其实是有弊端的，因为编译器做的太好了，提醒语句太多，其实这对新手来说并不友好，新手一旦对提醒产生依赖，不利于代码的编写（毕竟，还是要多写多练）。`gvim`是一款可以用来编写代码的文本编译器，堪称程序员的神器！！...
2021-08-09 17:51:33
608
2
原创 Windows下nginx启动报错黑屏(1113: No mapping for the Unicode character exists in the target......
在Windows下启动nginx时就直接黑屏跳过，查了半天才找到问题。现将可能发生的原因和解决方法如下：1、原因:解压路径中有中文所以导致启动不成功解决方法 ：将nginx解压至无中文命名的路径中即可解决2、原因：80端口号被占用的缘故cmd黑窗口输入 netstat -ano|findstr “88” 命令查看是否是端口号重复被占用就修改，打开conf文件，然后找到nginx.conf打开。用记事本打开即可，找到server 然后重新修改一个端口号即可。其实最好的解决方法就是打
2021-08-06 20:47:42
1684
原创 Vim和Linux常用命令
1、Linux常用命令ls：当前所在目录下的文件列表短显示（查询显示）ll：当前所在目录下的文件列表长显示（查询显示）clear：清屏cd: 进入某目录cd ..：退回到上一级目录cp：拷贝当前文件夹或目录mkdir：创建文件夹mkdir -p：创建多级文件目录（建议 - p 写到最后面）touch：创建文件（文件名.文件类型，可创建各种类型文件）vi touch：创建文件并进入（注意：退出时需保存，文件才算创建完成）rm：删除文件rm - f：不需要提示，直接删除文件rm -
2021-08-04 09:36:54
141
原创 MySQL语句的排序、二表、三表联查和分页
1、ORDER BY排序-- ORDER BY：排序-- ORDER BY：字段 排序规则（ASC正序，默认是正序，可以不写，DESC：倒序） SELECT id，username，age FROM user ORDER BY id；-- 正序 SELECT id，username，age FROM user ORDER BY id DESC；-- 倒序2、连表联查2.1、左外链接查询-- LEFT:按左表查询-- 字段可以起别名，表名可以起别名，方便使用
2021-08-03 21:42:20
511
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人