![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础
文章平均质量分 66
251KA
学习中
展开
-
Hive insert Overrite partition踩坑
Hive insert Overrite partition 动态分区踩坑实录业务上要求有一张表要动态插入按照时间分区的数据,然后就用了如下语法(已脱敏):先说结论:动态分区按照查询的最后一个字段来,我这里没有按照这个规范写,就报了很多奇奇怪怪的错误。在Application上找到spark的执行日志时,发现卡在最后一个stage的repartitionAndSortWithPartitions 到 mapPartitions 阶段,而且表现为所有executor上的task数都为0,但是都有shuf原创 2021-07-22 15:02:34 · 2092 阅读 · 0 评论 -
@Scheduled()注解以及cron表达式详解
@Schedule()注解以及cron表达式详解@Schedule注解:任务自动化调度。1. @Scheduled(fixedDelay = 5000)延迟执行。任务在上个任务完成后达到设置的延时时间就执行。此处,任务会在上个任务完成后经过5s再执行。2. @Scheduled(fixedRate = 5000)定时执行。任务间隔规定时间即执行。此处,任务每隔五秒便会执行一次。3. @Scheduled(cron = “0 0 2 * * ?”)自定义规则执行。比较复杂,一般用6或7个标识原创 2021-06-02 11:25:54 · 76582 阅读 · 8 评论 -
Group by 1 Order by 1到底是什么
Group by 1 Order by 1碰到了个前朝的SQL写法,之前没用过所以探究一下,先说结论:就是第一个字段的意思,但是这个1是select 后跟的列的第一个,并不是表中的第一列验证(各位有数据库的顺手跑一下就很清楚了):SELECT * FROM `sc` group by SId;SELECT * FROM `sc` group by CId;SELECT * FROM `sc` group by score;SELECT * FROM `sc` group by 1;SELEC原创 2021-05-21 10:42:56 · 1056 阅读 · 0 评论 -
个人笔记之Flink
FLINK基本认知:一个流式计算框架,代入Hadoop生态圈最多替代MapReduce。计算过程都在内存中,所以速度相对MR很快,中间除了shuffle基本不落盘。出现落盘要么OOM了,要么就是在切依赖(宽依赖的时候会切)划分阶段,要么就是代码中调用了导致落盘的函数。因为IO少所以速度飞快。然后就是Flink脱颖而出的最核心理念——流式计算。在实时响应计算方面,流式处理在无限数据流(或者说实时数据流)方面的优势是批处理无法抹平的,得益于流式的时间状态而来的容错恢复等机制更是甩了批处理几条街,所以flin原创 2021-05-19 17:30:18 · 414 阅读 · 1 评论 -
个人笔记之Scala(Temp)
个人笔记之Scala(更新中)1.函数式编程今天接触到了scala,说实话我很后悔没有早点接触这门语言,实在是很便利的语言,其核心概念——函数式编程真的惊艳到我了,废话不多说先上代码,说明我为何如此激动。前言:Scala的基础类型和基础语法和JAVA有很多一样的地方,但是我在使用的时候就一个感觉——简单,真不愧是极致的极简主义,太适合我这样的懒癌患者了。package com.cl/** * @author: Corley cheng * @email: 981311938@qq.com原创 2020-12-03 21:58:38 · 180 阅读 · 0 评论 -
个人笔记之Hive
个人笔记之Hive1.Hive的基本概念Hive是为了让开发人员更简单地操作MapReduce而开发出来的。关于Hive的难点不多,可以把它理解为一个翻译器,将SQL语句自动翻译成MapReduce的相应代码然后用来处理大量的数据。优点是节省了写MapReduce代码的时间和功夫,换句话说以前必须要对MapReduce有足够了解而且对业务和数据等的分析能力足够强才能熟练使用MapReduce,但是现在只要熟练使用SQL语句就可以使用MapReduce,降低了部分使用门槛。缺点也很明显,在处理小批量数据原创 2020-11-13 21:40:50 · 190 阅读 · 0 评论 -
个人笔记之MapReduce
个人笔记之MapReduce1.定义首先,总结一下MapReduce是干嘛用的:MapReduce是一种用于处理大批量数据的计算模型。 它的特点就是能把大量的数据分割进行计算,再将计算结果汇总出来。这样就能够用更低内存空间的处理器处理数据量远超该内存的数据–因为数据都被切割成很多小块了嘛,一台电脑没法算那就十台,一百台同时算,这样能大大节省计算时间,从而完成单台电脑根本不可能在短时间完成的任务。Map映射,Reduce规约。核心思想:分而治之,计算向数据靠拢。为什么要用MapReduce?它原创 2020-11-09 20:28:51 · 245 阅读 · 0 评论 -
个人笔记之Elasticsearch
个人笔记之Elasticsearch集群搭建1. 解压前置:相互免秘钥配置完成下载ES的压缩包,放到node01中(ftp就可以,很方便)我这里下载的是:elasticsearch-7.4.2-linux-x86_64.tar.gz解压安装包:将目标文件夹解压到当前路径下tar -xvf elasticsearch-7.4.2-linux-x86_64.tar.gz然后桌面上会多一个es的文件夹,这就表明这个软件其实已经安装好了,接下来就需要配置了。2.配置2.1 创建软件安装目录原创 2020-11-04 21:14:11 · 170 阅读 · 0 评论 -
个人笔记之Hadoop集群搭建
个人笔记之Hadoop集群搭建1.准备工作首先确保节点之间相互免秘钥(我直接恢复到免秘钥的快照)然后下载喜欢的版本的安装包,一般版本选择双数版本的,因为双数吉利嘛,所以单数版本有时候只是软件公司自己测试没问题就放出来的版本,而双数版本是经过企业实际检验过后才发布的版本,有人趟过雷了所以可以稍微放心一点用。因为电脑不行,试过了开四台虚拟机有点危险,所以这次就搭个简化不规范版的集群,namenode和SecondaryNameNode就放在datanode上,只用三个虚拟机打起来一个简单的Hadoop集原创 2020-11-04 21:05:27 · 204 阅读 · 0 评论 -
个人笔记之Nginx
个人笔记之Nginx声明:为了保证学习的效果,本人一般习惯先手敲出大致思路,再慢慢填充笔记内容,如果有安装配置过程也会先在自己电脑上跑通再发。这种方式难免出现错漏甚至从一开始的想法就是错误的,如果大佬们碰巧看到麻烦及时告知,在下感激不尽!1.概念及流程有时候,当短时间内用户访问量超过服务器的处理上线的时候,容易引发一系列问题甚至直接导致服务器崩溃。一般的解决方案是增加几台服务器,但是如何保证每台服务器都能分配到在它承受范围内的负载,而同时不影响用户使用体验,同时又能防止某台服务器的宕机导致系统彻底崩溃原创 2020-10-30 21:12:39 · 146 阅读 · 0 评论 -
个人笔记之Linux免秘钥登录
个人笔记之Linux免秘钥登录1.克隆虚拟机1.1从原先的虚拟机克隆出四个虚拟机nodeplus-> node01 node02 node03 node041.2修改主机名和IP地址源:nodeplus:192.168.251.251后:node01:192.168.251.11node02:192.168.251.12node03:192.168.251.13node04:192.168.251.14指令:修改主机名vi /etc/hostname修改原创 2020-10-28 20:51:37 · 128 阅读 · 0 评论 -
个人笔记之Linux的安装
个人笔记之安装Linux虚拟机安装Linux环境:Win 10工具包:VMware,CentOS 7 64位镜像1. 使用VMware创建一个新的Linux虚拟机1.1 准备工作:首先配置NAT网络的子网 IP 网段然后在右边的NAT设置中确认网关IP是否正确1.2 创建新的虚拟机首先来到主页,点击创建新的虚拟机,根据提示往下走。 这里选择自定义,然后下一步选择 Workstation 14.X ,下一步稍后安装操作系统,下一步客户机端选择Linux,版本选择对应版本原创 2020-10-26 10:33:04 · 174 阅读 · 2 评论 -
MySQL枚举类型数据插入踩坑实录
解决Data truncated for column ‘titleLevel’ at row 1 报错今天回顾一个模块下的流程的时候,突然脑子一抽想去Navicat中写一下SQL语句,结果添加功能的SQL语句就直接给我报错了,报错截图如下:这就很奇怪了,项目里面跑都没问题怎么拉出来跑就不行了?然后稍微排查了一下,发现是数据库的表那边给自己埋了坑:该字段是枚举类型的,而我拉出来以后为了测试想插入的数据是这样的:而我写出来的SQL语句是这样的:所以问题就找到了,原因在于原本的titleLev原创 2020-10-23 16:09:27 · 2856 阅读 · 0 评论 -
8080端口的占用问题
端口占用问题有时候会在使用时碰到端口占用问题,其实很好解决:举个栗子,发现8080端口又被占用了:首先使用指令:netstat -ano | findstr 8080找到正在使用该端口号的进程( 此时出现了多个进程,根据经验判断现在 pid为4840的进程正在使用该端口,所以我们要干掉这个进程 )由题意得知,此时使用该端口的进程为4840所以就要使用第二条指令:taskkill /pid 4840 /f来终止该进程( 注意不同使用时刻,进程号可能会发生改变,所以得自己查了以后再关,没原创 2020-10-12 20:02:22 · 275 阅读 · 0 评论 -
SpringBoot逆向工程踩坑实录
想把昨晚刚搭的CRM项目跑起来,兴冲冲地打开IDEA,加视图加工具类,然后用逆向工程生成了Mapper接口以及映射文件以及实体类,然后就炸了,原本好好的系统竟然跑都跑不来了。看到最后又说映射Mapper配置文件有问题,就去找XML看了一眼从<resultMap>标签可以看出来自动生成的时候生成了两次,哥哥你是怕我吃不饱吗???删除多余的部分,完美运行。还有一个使用时碰到的坑,就是如果逆向工程生成时有其他的库存在相同表名的话有可能会生成其他库中的表对应的类,我自己是备份并删除了别的库中原创 2020-09-19 10:24:06 · 311 阅读 · 0 评论 -
个人笔记之CRM项目搭建
搭建一个用于练习的CRM项目1.pom.xml文件的配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apa原创 2020-09-18 20:37:27 · 292 阅读 · 0 评论 -
个人笔记之SpringBoot热部署的配置
SpringBoot的热部署1.pom文件中添加依赖:<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <!--当前这个项⽬被继承之后,这个不向下传递--> <optional>true</optional></dependency>原创 2020-09-18 08:52:14 · 146 阅读 · 0 评论 -
个人笔记之springboot项目的搭建
从零开始的springboot项目的搭建到了 springboot 项目就没那么多烦人的配置文件要导入了,因为大部分所需配置都整合起来了,遇到的各种包冲突的情况也会减少。1.pom.xml文件首先,这个是maven的配置文件,所以该配置的还是得配置一下的。springboot 的核心配置就在这里了<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xml原创 2020-09-15 20:10:28 · 473 阅读 · 3 评论 -
个人笔记之拦截器
个人笔记之拦截器SpringMVC中的拦截器是非常重要的,他用来拦截用户的请求并在作出相应处理后实现别的操作,例如登录验证,密码验证等等都用到它。实现方式:第一种:实现HandlerInterceptor接口org.springframework.web.servlet.HandlerInterceptor第二种:继承HandlerInterceptorAdapter适配器org.springframework.web.servlet.handler.HandlerInterceptorAda原创 2020-09-14 21:53:14 · 106 阅读 · 0 评论 -
个人笔记之SSM框架整合
个人笔记之IDEA整合Spring-SpringMVC-Mybatis框架快速在IDEA中使用 maven 创建一个基于SSM 的 Java web 的项目 。1.配置pom.xml文件首先注意 JDK 的版本要和当前所用一致,然后是 Junit Test 的版本注意一下,避免出现奇怪的异常。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns原创 2020-09-14 20:40:15 · 153 阅读 · 0 评论 -
个人笔记之SpringMVC环境搭建
标题个人笔记之SpringMVC 的搭建SpringMVC是用于java web开发的框架。很基础。1.pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach原创 2020-09-14 08:56:17 · 98 阅读 · 0 评论 -
不得不整理的常用依赖配置
个人插件、配置、依赖整理(LTV)1、freemarker 相关依赖导入:pom.xml:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.原创 2020-09-07 21:22:01 · 202 阅读 · 0 评论 -
登录注册页面跳转
用HTML、jQuery和css写一个简单的登录注册页面看了一些前端部分的视频,有点手痒,想起大学时做的某管理系统的前端部分,当时基本都是靠着CV写的,现在想想应该可以自己写一点了。话不多说,先上图:首先是登录页面:点击注册按钮可以跳转到注册页面:注册页面做了一点简单的判断:伪非空验证:还有伪密码验证:红字提示存在两秒,两秒后消失,清除密码框内的内容,但是不清除用户名框内的文本。然后当用户名和密码输入正确以后(其实两次密码一样就行,用户名不空就好)就可以跳转到登录页面。这里有一个坑原创 2020-09-02 22:06:23 · 53472 阅读 · 17 评论 -
个人笔记之MySQL查询语句
个人笔记之MySQL查询语句1.DQLDQL(database quary language)是对数据库查询语句的统称,单独将它拿出来作为MySQL中的一个分支也是说明了它的重要性。不只是在MySQL中,其他数据库语言例如SQLserver和Oracle中查询语句也是比较重要的组成部分,因为我们日常使用数据库时一般都是变着花样来查询其中的数据,其中涉及到单表查询和多表查询,内容非常丰富。但是也不必害怕它,其实所有查询语句都要遵循固定的语法,多表查询语句可以从单表查询语句上延伸得到。2.单表查询优点原创 2020-08-21 21:57:13 · 193 阅读 · 0 评论 -
个人笔记之MySQL数据库之基操
个人笔记之MySQL数据库基础操作1.MySQL MySQL 是轻量级的关系型数据库,一般用于中小型项目的开发,但由于其是开源的所以学生群体用的比较多,但企业出于数据安全性的考虑一般选择收费的Oracle或SQLServer,希望能得到更好更全面的支持,还能进一步确保数据的安全性。2.测试MySQL 我们都知道数据库是用来操作数据的语言,但是通常情况下如果没有人在一旁指导的话,初次安装完MySQL都会很懵,我是谁?我在哪?我要干嘛?我装这个玩意儿是用来干嘛的?如果有有以上问题的话,不要慌原创 2020-08-20 21:37:17 · 209 阅读 · 0 评论