- 博客(88)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 SQLSyntaxErrorException: FUNCTION dbname.to_timestamp does not exist
MYSQL to_timestamp does not exist.
2024-05-27 19:14:20
319
原创 jackson全局配置解决LocalDateTime全局返回时间带“T“的时间格式处理
jackson全局配置解决Java 8 date/time type `java.time.LocalDateTime` 问题
2024-04-15 10:23:49
914
1
原创 springboot升级swagger-ui到2.10.5， 有关版本更新带来的问题
引入swagger包： <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>${swagger2.version}</version> </dependency>
2022-04-11 17:44:04
3283
原创 Java项目Junit4升级到Junit5（jupiter）
Junit4中的注解：@RunWith(MockitoJUnitRunner.class) 升级替换为：@ExtendWith(MockitoExtension.class)注意：1、当涉及Spring时：如果测试中使用Spring测试框架功能（例如）@MockBean，则必须使用@ExtendWith(SpringExtension.class)。它取代了不推荐使用的 JUnit4@RunWith(SpringJUnit4ClassRunner.class)2、当不涉及Spring.
2022-03-28 10:23:44
3570
转载 mysql元数据信息查询介绍，information_schema表介绍
information_schema 表介绍：第一个查询看看库里有多少个表，表名等：select * from INFORMATION_SCHEMA.TABLESinformation_schema这张数据表保存了MySQL服务器所有数据库的信息。如数据库名，数据库的表，表栏的数据类型与访问权限等。再简单点，这台MySQL服务器上，到底有哪些数据库、各个数据库有哪些表，每张表的字段类型是什么，各个数据库要什么权限才能访问，等等信息都保存在information_...
2021-08-05 17:25:50
2137
原创 SQL总结-DML规范
1、应尽量避免在where子句中使用!=或<>操作符，否则引擎将放弃使用索引而进行全表扫描。2、对查询进行优化，应尽量避免全表扫描，首先应考虑在where及order by涉及的列上建立索引。3、应尽量避免在 where 子句中对字段进行null值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null;可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where
2021-06-22 16:05:29
343
原创 SQL总结-DDL规范
1、【强制】使用INNODB存储引擎.2、【强制】表字符集使用utf8mb4，排序规则使用utf8mb4_general_ci.3、【强制】列不能设置字符集.4、【强制】所有字段都需要添加注释.5、【强制】所有表都需要添加注释.6、【强制】不允许使用存储过程，自定义函数，触发器.7、【强制】禁用保留字，如 desc、range、match、delayed等，请参考 MySQL官方保留字:https://www.cnblogs.com/wuyifu/p/5949764.html8、【强制】不允.
2021-06-22 16:03:06
395
原创 springboot项目java连接kerberos认证的hive和hbase，代码及报错问题解决
项目部署要连接外部系统（如苏研平台）的大数据平台hive和hbase组件，大数据平台配置了kerberos安全认证，但对方没有提供相关的连接示例代码。由于是第一次对接，部署调试过程中遇到很多问题，记录下来，仅供参考。1、hive连接配置代码： /** * @return */ @Bean(name = "datasourceHive") public DataSource getDataSourceHive() { // .
2021-03-31 11:15:57
6656
3
原创 hive大数据量实现分页查询，java结合mybatis及多数据源（hive、MySQL）
表信息（textfile存储格式）：desc dim_tencentyk_info;OKurl string video_id string video_name string .
2020-10-29 10:18:51
2823
原创 springBoot多数据源配置，如mysql、hive，使用druid连接池
总共需要以下几个类：package com.config.datasource;import com.alibaba.druid.pool.DruidDataSource;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Value;import org.springframework.context.annotation.Bean;import org.springfr
2020-09-22 14:39:38
1799
原创 导入海量数据到HBASE解决方案，使用importtsv工具通过BuckLoad批量导入，问题解决Permission denied，Application rejected by queue..
首先上终极解决方案：create_namespace 'recom_ns'create 'recom_ns:prefer_result','info', { NUMREGIONS => 10 , SPLITALGO => 'UniformSplit' }hdfs dfs -put hbase_test.data /tmp/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \-Dm
2020-08-11 09:24:04
539
原创 flink安装文档并集成CDH介绍
一创建flink包下载flink parcel# git clone https://github.com/pkeropen/flink-parcel.git 1.需要提前安装maven，执行编译脚本的需要用# yum -y install maven# chmod 744build.sh2.配置flink-parcel.properties#FLINK 下载地址FLINK_URL=https://archive.apache.org/dist/flink/flink-...
2020-07-27 14:30:33
479
原创 解决logback日志配置SizeAndTimeBasedRollingPolicy文件大小分割不生效问题，配置分离
查询了很多网上的帖子，尝试各种配置都没有生效。本人项目文件配置：官方操作文档说明：<configuration> <appender name="ROLLING" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>mylog.txt</file> <rollingPolicy class="ch.qos.logback.core.rol.
2020-07-14 18:05:30
29068
4
原创 将数据从mysql导入到hive表
代码脚本如下：#!/bin/bash# 连接mysql数据库，并查询结果，将结果输出到文件中# 1.定义连接变量mysql_hostname='172.28.65.133'mysql_port='3306'mysql_username='root'mysql_password='xxxxxx'#dbname='recom_video'time=`date -d "1 day ago" +"%Y-%m-%d"`save_f="t_st_video_info_${time}.txt"
2020-06-24 15:14:21
2623
原创 使用sqoop将数据定时从hive表导入MySQL，采坑问题日记
使用sqoop将数据定时从hive表导入MySQL。话不多说，线上脚本：#!/bin/sh#********************************************************************************#********************************************************************************#reload env#当前目录路径mysqldhome_hostname=
2020-06-24 14:47:39
1365
原创 Flume对接Hive（Sink）遇到的坑，以及最终放弃hive选用hdfs。欢迎讨论指点
项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。前期启动遇到各种报错：NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionStateNoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionStateNoClassDefFoundError: org/apache/hadoop/hive/
2020-06-10 17:50:19
2160
原创 批量导入千万数据到Redis集群处理方案，shell脚本处理（使用pipe处理）
从hive查询数据，使用shell脚本管道方式导入到Redis集群。
2020-05-22 09:18:09
3079
3
原创 常用的shell启动服务脚本/停止服务脚本
1、停止服务脚本：#! /bin/shell# 杀死进程appName='recommend-app'pid=$(ps -ef | grep ${appName} | grep java | grep -v grep | awk '{print $2}')echo -e $pidkill -9 ${pid}sleep 2if [ $? -eq 0 ];then e...
2020-01-16 15:36:29
4287
原创 AOP自定义切面日志
话不多说，直接上代码：/** * 自定义日志记录 */@Documented@Target({ElementType.METHOD, ElementType.PARAMETER})@Retention(RetentionPolicy.RUNTIME)public @interface OptionalLog { /** * 日志模块 * *...
2019-12-05 10:46:54
248
原创 Java多线程并发处理多个任务并获取结果
使用并发包中的Callable及Future类处理。话不多少，直接上代码：import lombok.extern.slf4j.Slf4j;import java.util.concurrent.Callable;/** * @Author: lp * @Date: 2019- */@Slf4jpublic class Mycallable implements Ca...
2019-12-03 19:54:28
3177
原创 Quartz V2.3.1版本sql初始化文件
## Quartz seems to work best with the driver mm.mysql-2.0.7-bin.jar## PLEASE consider using mysql with innodb tables to avoid locking issues## In your Quartz properties file, you'll need to set#...
2019-10-24 16:38:55
1325
原创 JAVA练习ReentrantLock等， 用两个线程同时操作，实现一次循环遍历字符串
问题：已知字符串abcdefghijk, 有两个线程同时操作，实现一下一次循环遍历出123456789。例如：t1线程结果是1、 t2线程结果是2、 再是t1 = 3这样的.、、、本人使用ReentrantLock及Condition实现思路如下，欢迎多指点交流：PS：show me code:package com.lpz.test.interview;...
2019-04-26 13:14:49
495
原创 javaMail使用javax.mail自动读取邮件，并下载解析附件，IMAP/POP3协议等
搜索网上各个案例，总结的一套比较全面且行之有效的方法。供大家参考使用！使用javax.mail自动读取邮件，并下载解析附件，IMAP/POP3协议等！直接上代码如下：package ***import org.apache.commons.lang3.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerF...
2019-04-19 08:42:52
12383
14
原创 java中jdk8的forEach()方法return血的教训！
啊啊啊！记录。。。JDK8中return竟然不return了。。。but：：：2、两个for循环作对比，如下：
2019-04-18 20:39:35
10176
5
原创 git提交错误引发的血案——使用cherry-pick等解决git乱序提交问题
一次git错误提交的操作记录：$ git log（错误的commit记录，比如：push之前没有pull，造成代码错乱）commit c15809c85412701b8045c29e42b86ea79b757370 (HEAD -> zhejiang_1.13_part2_videoMsg_20190104)Author: liupengzhen <liupengzhe...
2019-02-20 10:56:52
1884
原创 mybatis代码自动生成器，使用eclipse和maven
首先pom中添加plugin，只需添加plugin，不需要添加dependency依赖包！！！ <!-- mybatis-generator --> <plugin> <groupId>org.mybatis.generator</groupId> ...
2018-10-19 15:20:58
228
原创 JSON.parseObject将json字符串转换为bean类，是否大小写敏感区分
本人使用的是Alibaba的fastjson，经测试是不区分大小写的，可以直接转换，非常好用！com.alibaba.fastjson.JSONcom.alibaba.fastjson.JSON.parseObject(String text, Class<ColorTmplSubmitResp> clazz) 返回的json字符串： {"resultco...
2018-06-13 19:28:31
10904
4
原创 Microsoft Excel 2010表最多容纳的行数
经本人亲自考究，所得结果是：1048576行（一百零四万八千五百七十六行）。有图为证：
2018-06-07 10:59:56
7060
原创 2013 - Lost connection to MySQL server during query，MySQL设置session,global变量及网络IO与索引
Navicat导出百万级数据时，报错：2013 - Lost connection to MySQL server during query 网上一番搜索，修改mysql如下几处配置文件即可：select @@sql_mode;SET sql_mode=(SELECT REPLACE(@@sql_mode, 'ONLY_FULL_GROUP_BY', ''));4194...
2018-06-05 00:20:48
3413
原创 处理百万级Excel/CSV/TXT杂乱数据、提取无重复手机号（mysql+jdbc+poi）
maven工程的pom文件，引入mysql、：<!-- https://mvnrepository.com/artifact/org.apache.poi/poi --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</art...
2018-05-31 10:06:29
1527
原创 关于API无状态服务session并发问题的分析
代码截图：更改用户自定义变量，获取不同的名称：vars，即可。分析不同的线程，不同的session，不同的用户变量先贴上日志（4个不同的接口，5次并发请求）：2018-05-2410:44:38.451 INFO [http-nio-8080-exec-4] - interceptor.AuthValidationInterceptor.getAuthKey(AuthValidationInt...
2018-05-24 11:03:24
1611
原创 log4j2.xml和log4j.properties的指定配置路径方法
对于默认直接把配置文件放任classpath下面，这种henjiandan首先说下log4j的配置，有两种方法：1、在web.xml中配置（推荐）：webAppRootKeywebapp.devportal log4jConfigLocation file:/opt/config/open_portal/opendev/appconfig/lo
2018-01-22 17:06:00
22355
原创 mysql之架构介绍1
1、mysql简介概述：开源的关系型数据库RDBMS，等。。高级MYSQL：mysql内核sql优化工程师mysql服务器的优化各种参数常量设定查询语句优化主从复制软硬件升级容灾备份sql备份2、linux版安装暂用mysql5.5，下载地址：http://mirrors.sohu.com/mysq
2017-11-12 17:49:08
353
原创 redis之Jedis使用
Redis的Java客户端Jedis：Jedis所需要的jar包，commons-pool-1.6.jar、jedis-2.1.0.jarJedis常用操作：测试连通性、5+1（一个key、五大数据类型）、事务提交（日常、加锁）主从复制，6379,6380启动，先各自先独立，主写、从读；JedisPool
2017-11-12 17:48:07
356
原创 redis主从复制(Master、Slave)
1、是什么行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主。2、能干嘛读写分离；容灾恢复；3、怎么玩？配从(库)不配主(库)从库配置：slaveof 主库IP 主库端口每次与master断开之后，都需要重新连接，除非你配置
2017-11-11 10:59:04
1182
2
原创 redis的事务
1、是什么？可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序地串行化执行而不会被其它命令插入，不许加塞。2、能干嘛放入一个队列（QUEUED）中，一次性、顺序性、排他性的执行一系列命令3、怎么玩常用命令：MULTI/ EXEC/ WATCH/ UNWATCH/ DISCARDcase1：正常执行，MU
2017-11-10 22:19:24
339
原创 redis消息订阅发布
是什么进程间的一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。订阅/发布消息图命令psubscribe/ publish/ pubsub/ punsubscribe/ subscribe/ unsubcribe案列先订阅后发布后才能收到消息，1 可以一次性订阅多个，SUBSCRIBE c1 c2 c3
2017-11-10 22:18:48
294
原创 redis持久化之AOF（Append Only File）
是什么：以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来(读操作不记录)，只许追加文件但不可以改写文件。redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。Aof保存的是appendonly.aof文件配置位置APPEND ONLY MODE
2017-11-10 22:18:24
346
centos7&&gcc&&g++离线安装包-亲测可用.zip
2020-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人