自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

mathlpz126的博客

一个小菜鸟的奋斗史

  • 博客(88)
  • 资源 (6)
  • 收藏
  • 关注

原创 SQLSyntaxErrorException: FUNCTION dbname.to_timestamp does not exist

MYSQL to_timestamp does not exist.

2024-05-27 19:14:20 297

原创 jackson全局配置解决LocalDateTime全局返回时间带“T“的时间格式处理

jackson全局配置解决Java 8 date/time type `java.time.LocalDateTime` 问题

2024-04-15 10:23:49 858 1

原创 批量查询hive数据通过管道方式快速写入到Redis集群,脚本编写

批量查询hive数据,通过管道方式快速写入到Redis集群,脚本编写

2022-12-12 09:42:13 1732 1

原创 springboot升级swagger-ui到2.10.5, 有关版本更新带来的问题

引入swagger包: <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>${swagger2.version}</version> </dependency>

2022-04-11 17:44:04 3244

原创 Java项目Junit4升级到Junit5(jupiter)

Junit4中的注解:@RunWith(MockitoJUnitRunner.class) 升级替换为:@ExtendWith(MockitoExtension.class)注意:1、当涉及Spring时:如果测试中使用Spring测试框架功能(例如)@MockBean,则必须使用@ExtendWith(SpringExtension.class)。它取代了不推荐使用的 JUnit4@RunWith(SpringJUnit4ClassRunner.class)2、当不涉及Spring.

2022-03-28 10:23:44 3527

原创 图数据库选型汇总

图数据库选型汇总,图数据库发展,一文了解各种图数据库查询语言对比。

2021-10-14 15:23:18 1036

转载 mysql元数据信息查询介绍,information_schema表介绍

information_schema 表介绍:第一个查询看看库里有多少个表,表名等:select * from INFORMATION_SCHEMA.TABLESinformation_schema这张数据表保存了MySQL服务器所有数据库的信息。如数据库名,数据库的表,表栏的数据类型与访问权限等。再简单点,这台MySQL服务器上,到底有哪些数据库、各个数据库有哪些表,每张表的字段类型是什么,各个数据库要什么权限才能访问,等等信息都保存在information_...

2021-08-05 17:25:50 2118

原创 SQL总结-DML规范

1、应尽量避免在where子句中使用!=或<>操作符,否则引擎将放弃使用索引而进行全表扫描。2、对查询进行优化,应尽量避免全表扫描,首先应考虑在where及order by涉及的列上建立索引。3、应尽量避免在 where 子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null;可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where

2021-06-22 16:05:29 336

原创 SQL总结-DDL规范

1、【强制】使用INNODB存储引擎.2、【强制】表字符集使用utf8mb4,排序规则使用utf8mb4_general_ci.3、【强制】列不能设置字符集.4、【强制】所有字段都需要添加注释.5、【强制】所有表都需要添加注释.6、【强制】不允许使用存储过程,自定义函数,触发器.7、【强制】禁用保留字,如 desc、range、match、delayed等,请参考 MySQL官方保留字:https://www.cnblogs.com/wuyifu/p/5949764.html8、【强制】不允.

2021-06-22 16:03:06 380

原创 springboot项目java连接kerberos认证的hive和hbase,代码及报错问题解决

项目部署要连接外部系统(如苏研平台)的大数据平台hive和hbase组件,大数据平台配置了kerberos安全认证,但对方没有提供相关的连接示例代码。由于是第一次对接,部署调试过程中遇到很多问题,记录下来,仅供参考。1、hive连接配置代码: /** * @return */ @Bean(name = "datasourceHive") public DataSource getDataSourceHive() { // .

2021-03-31 11:15:57 6551 3

原创 hive大数据量实现分页查询,java结合mybatis及多数据源(hive、MySQL)

表信息(textfile存储格式):desc dim_tencentyk_info;OKurl string video_id string video_name string .

2020-10-29 10:18:51 2797

原创 springBoot多数据源配置,如mysql、hive,使用druid连接池

总共需要以下几个类:package com.config.datasource;import com.alibaba.druid.pool.DruidDataSource;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Value;import org.springframework.context.annotation.Bean;import org.springfr

2020-09-22 14:39:38 1771

原创 导入海量数据到HBASE解决方案,使用importtsv工具通过BuckLoad批量导入,问题解决Permission denied,Application rejected by queue..

首先上终极解决方案:create_namespace 'recom_ns'create 'recom_ns:prefer_result','info', { NUMREGIONS => 10 , SPLITALGO => 'UniformSplit' }hdfs dfs -put hbase_test.data /tmp/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \-Dm

2020-08-11 09:24:04 527

原创 flink安装文档并集成CDH介绍

一创建flink包下载flink parcel# git clone https://github.com/pkeropen/flink-parcel.git 1.需要提前安装maven,执行编译脚本的需要用# yum -y install maven# chmod 744build.sh2.配置flink-parcel.properties#FLINK 下载地址FLINK_URL=https://archive.apache.org/dist/flink/flink-...

2020-07-27 14:30:33 473

原创 解决logback日志配置SizeAndTimeBasedRollingPolicy文件大小分割不生效问题,配置分离

查询了很多网上的帖子,尝试各种配置都没有生效。本人项目文件配置:官方操作文档说明:<configuration> <appender name="ROLLING" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>mylog.txt</file> <rollingPolicy class="ch.qos.logback.core.rol.

2020-07-14 18:05:30 28947 4

原创 将数据从mysql导入到hive表

代码脚本如下:#!/bin/bash# 连接mysql数据库,并查询结果,将结果输出到文件中# 1.定义连接变量mysql_hostname='172.28.65.133'mysql_port='3306'mysql_username='root'mysql_password='xxxxxx'#dbname='recom_video'time=`date -d "1 day ago" +"%Y-%m-%d"`save_f="t_st_video_info_${time}.txt"

2020-06-24 15:14:21 2615

原创 使用sqoop将数据定时从hive表导入MySQL,采坑问题日记

使用sqoop将数据定时从hive表导入MySQL。话不多说,线上脚本:#!/bin/sh#********************************************************************************#********************************************************************************#reload env#当前目录路径mysqldhome_hostname=

2020-06-24 14:47:39 1356

原创 Flume对接Hive(Sink)遇到的坑,以及最终放弃hive选用hdfs。欢迎讨论指点

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上,使用Hive作为Sink,Flume版本为1.9.0。前期启动遇到各种报错:NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionStateNoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionStateNoClassDefFoundError: org/apache/hadoop/hive/

2020-06-10 17:50:19 2136

原创 批量导入千万数据到Redis集群处理方案,shell脚本处理(使用pipe处理)

从hive查询数据,使用shell脚本管道方式导入到Redis集群。

2020-05-22 09:18:09 3065 3

原创 常用的shell启动服务脚本/停止服务脚本

1、停止服务脚本:#! /bin/shell# 杀死进程appName='recommend-app'pid=$(ps -ef | grep ${appName} | grep java | grep -v grep | awk '{print $2}')echo -e $pidkill -9 ${pid}sleep 2if [ $? -eq 0 ];then e...

2020-01-16 15:36:29 4257

原创 AOP自定义切面日志

话不多说,直接上代码:/** * 自定义日志记录 */@Documented@Target({ElementType.METHOD, ElementType.PARAMETER})@Retention(RetentionPolicy.RUNTIME)public @interface OptionalLog { /** * 日志模块 * *...

2019-12-05 10:46:54 238

原创 Java多线程并发处理多个任务并获取结果

使用并发包中的Callable及Future类处理。话不多少,直接上代码:import lombok.extern.slf4j.Slf4j;import java.util.concurrent.Callable;/** * @Author: lp * @Date: 2019- */@Slf4jpublic class Mycallable implements Ca...

2019-12-03 19:54:28 3167

原创 Quartz V2.3.1版本sql初始化文件

## Quartz seems to work best with the driver mm.mysql-2.0.7-bin.jar## PLEASE consider using mysql with innodb tables to avoid locking issues## In your Quartz properties file, you'll need to set#...

2019-10-24 16:38:55 1316

原创 JAVA练习ReentrantLock等, 用两个线程同时操作,实现一次循环遍历字符串

问题:已知字符串abcdefghijk, 有两个线程同时操作,实现一下一次循环遍历出123456789。例如:t1线程结果是1、 t2线程结果是2、 再是t1 = 3这样的.、、、本人使用ReentrantLock及Condition实现思路如下,欢迎多指点交流:PS:show me code:package com.lpz.test.interview;...

2019-04-26 13:14:49 489

原创 javaMail使用javax.mail自动读取邮件,并下载解析附件,IMAP/POP3协议等

搜索网上各个案例,总结的一套比较全面且行之有效的方法。供大家参考使用!使用javax.mail自动读取邮件,并下载解析附件,IMAP/POP3协议等!直接上代码如下:package ***import org.apache.commons.lang3.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerF...

2019-04-19 08:42:52 12237 14

原创 java中jdk8的forEach()方法return血的教训!

啊啊啊!记录。。。JDK8中return竟然不return了。。。but:::2、两个for循环作对比,如下:

2019-04-18 20:39:35 10158 5

原创 git提交错误引发的血案——使用cherry-pick等解决git乱序提交问题

一次git错误提交的操作记录:$ git log(错误的commit记录,比如:push之前没有pull,造成代码错乱)commit c15809c85412701b8045c29e42b86ea79b757370 (HEAD -&gt; zhejiang_1.13_part2_videoMsg_20190104)Author: liupengzhen &lt;liupengzhe...

2019-02-20 10:56:52 1864

原创 mybatis代码自动生成器,使用eclipse和maven

首先pom中添加plugin,只需添加plugin,不需要添加dependency依赖包!!! &lt;!-- mybatis-generator --&gt; &lt;plugin&gt; &lt;groupId&gt;org.mybatis.generator&lt;/groupId&gt; ...

2018-10-19 15:20:58 219

原创 JSON.parseObject将json字符串转换为bean类,是否大小写敏感区分

     本人使用的是Alibaba的fastjson,经测试是不区分大小写的,可以直接转换,非常好用!com.alibaba.fastjson.JSONcom.alibaba.fastjson.JSON.parseObject(String text, Class&lt;ColorTmplSubmitResp&gt; clazz)    返回的json字符串:        {"resultco...

2018-06-13 19:28:31 10854 4

原创 Microsoft Excel 2010表最多容纳的行数

经本人亲自考究,所得结果是:1048576行(一百零四万八千五百七十六行)。有图为证:

2018-06-07 10:59:56 7019

原创 2013 - Lost connection to MySQL server during query,MySQL设置session,global变量及网络IO与索引

        Navicat导出百万级数据时,报错:2013 - Lost connection to MySQL server during query    网上一番搜索,修改mysql如下几处配置文件即可:select @@sql_mode;SET sql_mode=(SELECT REPLACE(@@sql_mode, 'ONLY_FULL_GROUP_BY', ''));4194...

2018-06-05 00:20:48 3409

原创 处理百万级Excel/CSV/TXT杂乱数据、提取无重复手机号(mysql+jdbc+poi)

maven工程的pom文件,引入mysql、:&lt;!-- https://mvnrepository.com/artifact/org.apache.poi/poi --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.poi&lt;/groupId&gt; &lt;artifactId&gt;poi&lt;/art...

2018-05-31 10:06:29 1512

原创 关于API无状态服务session并发问题的分析

代码截图:更改用户自定义变量,获取不同的名称:vars,即可。分析不同的线程,不同的session,不同的用户变量先贴上日志(4个不同的接口,5次并发请求):2018-05-2410:44:38.451 INFO [http-nio-8080-exec-4] - interceptor.AuthValidationInterceptor.getAuthKey(AuthValidationInt...

2018-05-24 11:03:24 1602

原创 log4j2.xml和log4j.properties的指定配置路径方法

对于默认直接把配置文件放任classpath下面,这种henjiandan首先说下log4j的配置,有两种方法:1、在web.xml中配置(推荐):webAppRootKeywebapp.devportal log4jConfigLocation file:/opt/config/open_portal/opendev/appconfig/lo

2018-01-22 17:06:00 22325

原创 mysql之架构介绍1

1、mysql简介概述:开源的关系型数据库RDBMS,等。。高级MYSQL:mysql内核sql优化工程师mysql服务器的优化各种参数常量设定查询语句优化主从复制软硬件升级容灾备份sql备份2、linux版安装暂用mysql5.5,下载地址:http://mirrors.sohu.com/mysq

2017-11-12 17:49:08 344

原创 redis之Jedis使用

Redis的Java客户端Jedis:Jedis所需要的jar包,commons-pool-1.6.jar、jedis-2.1.0.jarJedis常用操作:测试连通性、5+1(一个key、五大数据类型)、事务提交(日常、加锁)主从复制,6379,6380启动,先各自先独立,主写、从读;JedisPool

2017-11-12 17:48:07 349

原创 redis主从复制(Master、Slave)

1、是什么行话:也就是我们所说的主从复制,主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主。2、能干嘛读写分离;容灾恢复;3、怎么玩?配从(库)不配主(库)从库配置:slaveof 主库IP 主库端口每次与master断开之后,都需要重新连接,除非你配置

2017-11-11 10:59:04 1176 2

原创 redis的事务

1、是什么?可以一次执行多个命令,本质是一组命令的集合。一个事务中的所有命令都会序列化,按顺序地串行化执行而不会被其它命令插入,不许加塞。2、能干嘛放入一个队列(QUEUED)中,一次性、顺序性、排他性的执行一系列命令3、怎么玩常用命令:MULTI/ EXEC/ WATCH/ UNWATCH/ DISCARDcase1:正常执行,MU

2017-11-10 22:19:24 328

原创 redis消息订阅发布

是什么进程间的一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。订阅/发布消息图命令psubscribe/ publish/ pubsub/ punsubscribe/ subscribe/ unsubcribe案列先订阅后发布后才能收到消息,1 可以一次性订阅多个,SUBSCRIBE c1 c2 c3

2017-11-10 22:18:48 285

原创 redis持久化之AOF(Append Only File)

是什么:以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件。redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。Aof保存的是appendonly.aof文件配置位置APPEND ONLY MODE

2017-11-10 22:18:24 340

centos7&&gcc&&g++离线安装包-亲测可用.zip

亲测可用,欢迎大家免费下载,很好的资源,centos,gcc,libmpc,glibc-headers,libstdc++-devel

2020-06-24

八位二进制与十进制、十六进制对照表.doc

八位二进制与十进制、十六进制对照表.doc,方便项目中排查使用,下载后对比查看。 本人亲自整理验证,查看无误可用。供大家下载使用

2019-05-31

中国移动短信网关通讯协议CMPP2.0.doc

中国移动短信网关通讯协议CMPP2.0 中国移动短信网关通讯协议CMPP2.0

2019-05-31

互联网短信网关接口CMPP协议(V3.0.0).doc

互联网短信网关接口CMPP协议(V3.0.0).doc

2019-05-31

jdk1.7.0_80_lpz.zip

jdk1.7.0_80_lpz.zip,JDK1.7的源码包,注意多阅读源码,提高技术平能力,做大牛!!!

2018-04-11

jdk1.8.0_144的源码包

jdk1.8.0_144的源码包,不要积分既可以下载!多学习源码技术,多多学习交流,谢谢!

2018-04-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除