- 博客(32)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hive insert Overrite partition踩坑
Hive insert Overrite partition 动态分区踩坑实录业务上要求有一张表要动态插入按照时间分区的数据，然后就用了如下语法(已脱敏)：先说结论：动态分区按照查询的最后一个字段来，我这里没有按照这个规范写，就报了很多奇奇怪怪的错误。在Application上找到spark的执行日志时，发现卡在最后一个stage的repartitionAndSortWithPartitions 到 mapPartitions 阶段，而且表现为所有executor上的task数都为0，但是都有shuf
2021-07-22 15:02:34
2121
原创 @Scheduled()注解以及cron表达式详解
@Schedule()注解以及cron表达式详解@Schedule注解：任务自动化调度。1. @Scheduled(fixedDelay = 5000)延迟执行。任务在上个任务完成后达到设置的延时时间就执行。此处，任务会在上个任务完成后经过5s再执行。2. @Scheduled(fixedRate = 5000)定时执行。任务间隔规定时间即执行。此处，任务每隔五秒便会执行一次。3. @Scheduled(cron = “0 0 2 * * ?”)自定义规则执行。比较复杂，一般用6或7个标识
2021-06-02 11:25:54
76880
8
原创 Group by 1 Order by 1到底是什么
Group by 1 Order by 1碰到了个前朝的SQL写法，之前没用过所以探究一下，先说结论：就是第一个字段的意思，但是这个1是select 后跟的列的第一个，并不是表中的第一列验证(各位有数据库的顺手跑一下就很清楚了)：SELECT * FROM `sc` group by SId;SELECT * FROM `sc` group by CId;SELECT * FROM `sc` group by score;SELECT * FROM `sc` group by 1;SELEC
2021-05-21 10:42:56
1074
原创 个人笔记之Flink
FLINK基本认知：一个流式计算框架，代入Hadoop生态圈最多替代MapReduce。计算过程都在内存中，所以速度相对MR很快，中间除了shuffle基本不落盘。出现落盘要么OOM了，要么就是在切依赖(宽依赖的时候会切)划分阶段，要么就是代码中调用了导致落盘的函数。因为IO少所以速度飞快。然后就是Flink脱颖而出的最核心理念——流式计算。在实时响应计算方面，流式处理在无限数据流(或者说实时数据流)方面的优势是批处理无法抹平的，得益于流式的时间状态而来的容错恢复等机制更是甩了批处理几条街，所以flin
2021-05-19 17:30:18
425
1
原创 个人笔记之Scala(Temp)
个人笔记之Scala（更新中）1.函数式编程今天接触到了scala，说实话我很后悔没有早点接触这门语言，实在是很便利的语言，其核心概念——函数式编程真的惊艳到我了，废话不多说先上代码，说明我为何如此激动。前言：Scala的基础类型和基础语法和JAVA有很多一样的地方，但是我在使用的时候就一个感觉——简单，真不愧是极致的极简主义，太适合我这样的懒癌患者了。package com.cl/** * @author： Corley cheng * @email： 981311938@qq.com
2020-12-03 21:58:38
189
原创 个人笔记之Hive
个人笔记之Hive1.Hive的基本概念Hive是为了让开发人员更简单地操作MapReduce而开发出来的。关于Hive的难点不多，可以把它理解为一个翻译器，将SQL语句自动翻译成MapReduce的相应代码然后用来处理大量的数据。优点是节省了写MapReduce代码的时间和功夫，换句话说以前必须要对MapReduce有足够了解而且对业务和数据等的分析能力足够强才能熟练使用MapReduce，但是现在只要熟练使用SQL语句就可以使用MapReduce，降低了部分使用门槛。缺点也很明显，在处理小批量数据
2020-11-13 21:40:50
202
原创 个人笔记之MapReduce
个人笔记之MapReduce1.定义首先，总结一下MapReduce是干嘛用的：MapReduce是一种用于处理大批量数据的计算模型。 它的特点就是能把大量的数据分割进行计算，再将计算结果汇总出来。这样就能够用更低内存空间的处理器处理数据量远超该内存的数据–因为数据都被切割成很多小块了嘛，一台电脑没法算那就十台，一百台同时算，这样能大大节省计算时间，从而完成单台电脑根本不可能在短时间完成的任务。Map映射，Reduce规约。核心思想：分而治之，计算向数据靠拢。为什么要用MapReduce？它
2020-11-09 20:28:51
272
原创 个人笔记之Elasticsearch
个人笔记之Elasticsearch集群搭建1. 解压前置：相互免秘钥配置完成下载ES的压缩包，放到node01中(ftp就可以，很方便)我这里下载的是：elasticsearch-7.4.2-linux-x86_64.tar.gz解压安装包：将目标文件夹解压到当前路径下tar -xvf elasticsearch-7.4.2-linux-x86_64.tar.gz然后桌面上会多一个es的文件夹，这就表明这个软件其实已经安装好了，接下来就需要配置了。2.配置2.1 创建软件安装目录
2020-11-04 21:14:11
177
原创 个人笔记之Hadoop集群搭建
个人笔记之Hadoop集群搭建1.准备工作首先确保节点之间相互免秘钥（我直接恢复到免秘钥的快照）然后下载喜欢的版本的安装包，一般版本选择双数版本的，因为双数吉利嘛，所以单数版本有时候只是软件公司自己测试没问题就放出来的版本，而双数版本是经过企业实际检验过后才发布的版本，有人趟过雷了所以可以稍微放心一点用。因为电脑不行，试过了开四台虚拟机有点危险，所以这次就搭个简化不规范版的集群，namenode和SecondaryNameNode就放在datanode上，只用三个虚拟机打起来一个简单的Hadoop集
2020-11-04 21:05:27
215
原创 个人笔记之Nginx
个人笔记之Nginx声明：为了保证学习的效果，本人一般习惯先手敲出大致思路，再慢慢填充笔记内容，如果有安装配置过程也会先在自己电脑上跑通再发。这种方式难免出现错漏甚至从一开始的想法就是错误的，如果大佬们碰巧看到麻烦及时告知，在下感激不尽！1.概念及流程有时候，当短时间内用户访问量超过服务器的处理上线的时候，容易引发一系列问题甚至直接导致服务器崩溃。一般的解决方案是增加几台服务器，但是如何保证每台服务器都能分配到在它承受范围内的负载，而同时不影响用户使用体验，同时又能防止某台服务器的宕机导致系统彻底崩溃
2020-10-30 21:12:39
160
原创 个人笔记之Linux免秘钥登录
个人笔记之Linux免秘钥登录1.克隆虚拟机1.1从原先的虚拟机克隆出四个虚拟机nodeplus-> node01 node02 node03 node041.2修改主机名和IP地址源：nodeplus:192.168.251.251后：node01:192.168.251.11node02:192.168.251.12node03:192.168.251.13node04:192.168.251.14指令：修改主机名vi /etc/hostname修改
2020-10-28 20:51:37
139
原创 个人笔记之Linux的安装
个人笔记之安装Linux虚拟机安装Linux环境：Win 10工具包：VMware，CentOS 7 64位镜像1. 使用VMware创建一个新的Linux虚拟机1.1 准备工作：首先配置NAT网络的子网 IP 网段然后在右边的NAT设置中确认网关IP是否正确1.2 创建新的虚拟机首先来到主页，点击创建新的虚拟机，根据提示往下走。 这里选择自定义，然后下一步选择 Workstation 14.X ，下一步稍后安装操作系统，下一步客户机端选择Linux，版本选择对应版本
2020-10-26 10:33:04
183
2
原创 MySQL枚举类型数据插入踩坑实录
解决Data truncated for column ‘titleLevel’ at row 1 报错今天回顾一个模块下的流程的时候，突然脑子一抽想去Navicat中写一下SQL语句，结果添加功能的SQL语句就直接给我报错了，报错截图如下：这就很奇怪了，项目里面跑都没问题怎么拉出来跑就不行了？然后稍微排查了一下，发现是数据库的表那边给自己埋了坑：该字段是枚举类型的，而我拉出来以后为了测试想插入的数据是这样的：而我写出来的SQL语句是这样的：所以问题就找到了，原因在于原本的titleLev
2020-10-23 16:09:27
2894
原创 8080端口的占用问题
端口占用问题有时候会在使用时碰到端口占用问题，其实很好解决：举个栗子，发现8080端口又被占用了：首先使用指令：netstat -ano | findstr 8080找到正在使用该端口号的进程( 此时出现了多个进程，根据经验判断现在 pid为4840的进程正在使用该端口，所以我们要干掉这个进程 )由题意得知，此时使用该端口的进程为4840所以就要使用第二条指令：taskkill /pid 4840 /f来终止该进程（ 注意不同使用时刻，进程号可能会发生改变，所以得自己查了以后再关，没
2020-10-12 20:02:22
284
原创 SpringBoot逆向工程踩坑实录
想把昨晚刚搭的CRM项目跑起来，兴冲冲地打开IDEA，加视图加工具类，然后用逆向工程生成了Mapper接口以及映射文件以及实体类，然后就炸了，原本好好的系统竟然跑都跑不来了。看到最后又说映射Mapper配置文件有问题，就去找XML看了一眼从<resultMap>标签可以看出来自动生成的时候生成了两次，哥哥你是怕我吃不饱吗？？？删除多余的部分，完美运行。还有一个使用时碰到的坑，就是如果逆向工程生成时有其他的库存在相同表名的话有可能会生成其他库中的表对应的类，我自己是备份并删除了别的库中
2020-09-19 10:24:06
323
原创 个人笔记之CRM项目搭建
搭建一个用于练习的CRM项目1.pom.xml文件的配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apa
2020-09-18 20:37:27
299
原创 个人笔记之SpringBoot热部署的配置
SpringBoot的热部署1.pom文件中添加依赖：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <!--当前这个项⽬被继承之后，这个不向下传递--> <optional>true</optional></dependency>
2020-09-18 08:52:14
153
原创 个人笔记之springboot项目的搭建
从零开始的springboot项目的搭建到了 springboot 项目就没那么多烦人的配置文件要导入了，因为大部分所需配置都整合起来了，遇到的各种包冲突的情况也会减少。1.pom.xml文件首先，这个是maven的配置文件，所以该配置的还是得配置一下的。springboot 的核心配置就在这里了<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xml
2020-09-15 20:10:28
483
3
原创 个人笔记之拦截器
个人笔记之拦截器SpringMVC中的拦截器是非常重要的，他用来拦截用户的请求并在作出相应处理后实现别的操作，例如登录验证，密码验证等等都用到它。实现方式：第一种：实现HandlerInterceptor接口org.springframework.web.servlet.HandlerInterceptor第二种：继承HandlerInterceptorAdapter适配器org.springframework.web.servlet.handler.HandlerInterceptorAda
2020-09-14 21:53:14
114
原创 个人笔记之SSM框架整合
个人笔记之IDEA整合Spring-SpringMVC-Mybatis框架快速在IDEA中使用 maven 创建一个基于SSM 的 Java web 的项目 。1.配置pom.xml文件首先注意 JDK 的版本要和当前所用一致，然后是 Junit Test 的版本注意一下，避免出现奇怪的异常。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns
2020-09-14 20:40:15
159
原创 个人笔记之SpringMVC环境搭建
标题个人笔记之SpringMVC 的搭建SpringMVC是用于java web开发的框架。很基础。1.pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach
2020-09-14 08:56:17
105
原创 个人笔记之代理模式
个人笔记之静态代理和动态代理代理模式代理模式就是给某个目标类提供另一个特殊的类来代替这个目标类进行某些操作，并可以在实现目标类原有的功能的基础上还能提供一些其他的方法或操作。就像代打一样，有些人技术不太好又想上分，只能去请代练代打帮忙上分，此时代打就充当了代理类的角色，原本某人能实现的功能只能打打辅助混子，而代打什么位置都能玩，拿瑶都能带飞，就相当于功能增强了，但是好友(用户)看不到具体操作。能，插⼊的功能对于调⽤者是透明的，起到伪装控制的作⽤。如租房的例⼦：房客、中介、房东。对应于代理模式中即：
2020-09-11 22:06:19
364
原创 个人笔记之Spring+Mybatis环境搭建
从零开始的Spring+Mybatis环境及配置搭建及部分坑点记录1. pom.xml文件配置：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.
2020-09-11 21:00:42
136
原创 不得不整理的常用依赖配置
个人插件、配置、依赖整理(LTV)1、freemarker 相关依赖导入：pom.xml:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.
2020-09-07 21:22:01
206
原创 登录注册页面跳转
用HTML、jQuery和css写一个简单的登录注册页面看了一些前端部分的视频，有点手痒，想起大学时做的某管理系统的前端部分，当时基本都是靠着CV写的，现在想想应该可以自己写一点了。话不多说，先上图：首先是登录页面：点击注册按钮可以跳转到注册页面：注册页面做了一点简单的判断：伪非空验证：还有伪密码验证：红字提示存在两秒，两秒后消失，清除密码框内的内容，但是不清除用户名框内的文本。然后当用户名和密码输入正确以后（其实两次密码一样就行，用户名不空就好）就可以跳转到登录页面。这里有一个坑
2020-09-02 22:06:23
53804
17
原创 个人笔记之MySQL查询语句
个人笔记之MySQL查询语句1.DQLDQL(database quary language)是对数据库查询语句的统称，单独将它拿出来作为MySQL中的一个分支也是说明了它的重要性。不只是在MySQL中，其他数据库语言例如SQLserver和Oracle中查询语句也是比较重要的组成部分，因为我们日常使用数据库时一般都是变着花样来查询其中的数据，其中涉及到单表查询和多表查询，内容非常丰富。但是也不必害怕它，其实所有查询语句都要遵循固定的语法，多表查询语句可以从单表查询语句上延伸得到。2.单表查询优点
2020-08-21 21:57:13
197
原创 个人笔记之MySQL数据库之基操
个人笔记之MySQL数据库基础操作1.MySQL MySQL 是轻量级的关系型数据库，一般用于中小型项目的开发，但由于其是开源的所以学生群体用的比较多，但企业出于数据安全性的考虑一般选择收费的Oracle或SQLServer，希望能得到更好更全面的支持，还能进一步确保数据的安全性。2.测试MySQL 我们都知道数据库是用来操作数据的语言，但是通常情况下如果没有人在一旁指导的话，初次安装完MySQL都会很懵，我是谁？我在哪？我要干嘛？我装这个玩意儿是用来干嘛的？如果有有以上问题的话，不要慌
2020-08-20 21:37:17
211
原创 个人笔记之lambda表达式初探
个人笔记之LambdaJava 8 中提供了lambda表达式的写法，使用lambda表达式能大大减少重复的代码的出现率，能提高代码运行效率，无形中还提高了编写代码的满足感。其实就是用内部方法直接重写需要的方法，不需要再添加到代码中。其实是为了程序员减少压力(偷懒)使用的一种规范(初级)高级是为了释放内存，减少内存压力初级语法：(参数列表)->{要重写的方法;};高级语法：A a = p::print;四大内置函数式接口：函数式接口：接口中有且仅有一个方法等待实现，用@Funct
2020-08-19 15:24:23
242
原创 个人笔记之数组
个人笔记之数组、集合一.什么是数组（Array）定义：数组就是一系列相同类型数据的有序集合。数组通常由若干同类型的数据通过先后次序排列而成，每一个数据称为元素，每一个元素都拥有一个唯一的下标，该下标从零开始。特点：1.有限性。数组的长度是有限的。2.同类型。数组中的元素必须是同种类型，不允许类型混杂。3.数组是引用数据类型。数组也可以看成对象，每个元素相当于该对象的成员变量。二.数组的创建数组的声明：类型[] 数组名 = new 类型[长度];例：int[] arr = new int
2020-08-19 15:05:53
209
原创 个人笔记多线程
个人笔记之多线程实现多线程的三种方法：1,2常用，比较简单，3用的不多，相对比较复杂，但是可以抛异常，有返回值。1.继承Thread类，重写run方法class MyThread01 extends Thread { @Override public void run() { System.out.println("这是线程1"); }}比较常用的创建线程的方法之一，但不能抛异常，因为父类没有抛出异常，没有返回值。2.实现Runnable接口，重写ru
2020-08-19 14:52:52
111
原创 个人笔记之面向对象--从游戏小DEMO方向了解继承
面向对象之封装，继承，多态1.封装封装是面向对象的三大基本属性之一，简单理解一下就是把程序不想让别人看到的东西（比如变量，比如方法）包装隐藏起来。这一块复杂的概念不是很多（常用private 和 public ），记起来也不是很复杂。private：私有类型，仅在同一个类中时可以调用default：默认类型，不加其他类型的时候默认是它，在同一个类或同一个包下都可以调用protected：保护类型，在同一个类或同一个包下，或者继承了该类的子类可以调用public：公共类型，顾名思义，就是公开的类
2020-08-03 21:31:10
259
原创 JAVA个人笔记之多态转型
个人笔记之多态转型问题在转型问题的上有点小问题，有点绕，故抽出时间来整理一下思路 ( 纯属个人思考方式 ) 。1.多态 多态就是留下一个口子（方法、函数），这个口子可以跑很多方法（函数）但是这些函数功能或许有差异，但对这些函数的操作是一样的，这样能快速使用各类函数而不需要反复地写调用语句。编译时多态：编译时就能看出来的多态（会直接报错标红）运行时多态：运行时，调用各个new出来的函数时才能体现的多态，一般编译时不报错，跑起来才报错。而转型时遇到的比较麻烦的问题就是运行时多态–编译时不报错但运
2020-08-01 00:13:23
163
2
weapon.rar
2020-08-05
DuoTai.java
2020-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人