- 博客(56)
- 收藏
- 关注
RSS订阅转载 Maven 项目中依赖的搜索顺序
网上有很多关于maven项目中mirror、profile、repository的搜索顺序的文章，说法不一。官方文档并没有找到相关的说明，鉴于此，我抽时间做了一个验证。依赖仓库的配置方式maven项目使用的仓库一共有如下几种方式：中央仓库，这是默认的仓库 镜像仓库，通过 sttings.xml 中的 settings.mirrors.mirror 配置 全局profile仓库，通过 settings.xml 中的 settings.repositories.repository 配置 项目
2021-11-17 20:10:59
717
原创 Mysql中on和where的区别
前言on和where对于inner join是没有区别的，因为inner join取的就是两个的合集 本文只讨论左右连接测试准备工作1、表aCREATE TABLE `a` (`id` int(11) NOT NULL AUTO_INCREMENT,`key_id` int(11) NOT NULL,`aname` char(10) NOT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;2、表bCR
2021-09-08 19:24:33
1042
原创 commons.CollectionUtils的API使用教程
前言Commons Collections增强了Java集合框架，许多API使用起来都很方便，在操作集合中，许多工具类都可以在这里找着， 减少重复造轮子，大大减少开发时时间此文章使用的jar包版本： <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-collections4</arti
2021-08-19 22:26:33
436
原创 Invalid query handle: xxxxxxxxxxxx
前言在impala执行sql时，报错“Caused by: org.apache.hive.service.cli.HiveSQLException: Invalid query handle: ba49fe5374bba89c:bf8f6dee00000000”，开始一直以为是sql编写错误的问题解决打断点排查后发现是如下问题：while循环使用的是resultSet2对象，但是获取sql查询结果时用的却是resultSet1对象...
2021-08-10 11:04:43
3248
原创 如何创建SpringBoot工程
一、在线创建1、在线创建：https://start.spring.io/2、根据自己的需求选择对应的配置项3、这里可以添加一些常用的依赖4、添加web依赖即可5、点击下载工程包6、解压包到你放工程的目录即可7、打开解压后的工程，待依赖下载完成后即可8、打开工程9、完成二、使用IDEA创建1、创建工程2、 选择maven工程3、输入类名和包名4、保存目录5、工程创建完成，下一步进官网...
2021-08-07 11:23:33
583
原创 MysqlS数据库连接池使用
C3P01、引入依赖<!-- c3p0包 --><dependency> <groupId>com.mchange</groupId> <artifactId>c3p0</artifactId> <version>0.9.5.2</version></dependency><!-- 数据库驱动包 --><dependency>
2021-07-28 15:36:13
286
1
原创 层级数字排序（+0即可解决）
前言：对于层级的排序问题，默认为字符串的排序规则，那么就会出现如下的情况，9.0被排序成最大的了原因：字符串排序规则处理在order by的字段后加上+0即可，详情如下结果现在的排序结果就是想要的结果...
2021-05-20 17:18:48
1056
转载 idea中项目复制
idea中项目复制https://blog.csdn.net/qq_41849954/article/details/105042764文章中少了pom.xml文件的修改
2021-05-12 10:50:59
182
原创 java后端返回的excel中文名称是下划线
前言业务开发中，后端返回的excel文件在前端下载时，中文名称显示下划线代码如下：response.setContentType("application/vnd.ms-excel");response.setCharacterEncoding("UTF-8");response.setHeader("content-disposition", "attachment;filename=" + filename);原因setHeader里的属性值未设置正确（具体原因还未定位到）
2021-05-08 10:31:11
1387
原创 hadoop安装启动后报错：CharConversionException: Invalid UTF-8 middle byte
前言安装完windows版的hadoop后，执行命令hdfs namenode -format后报错，如下图：原因根据报错内容，可知：（1）hdfs-site.xml文件出的问题（2）UTF-8编码问题处理修改hdfs-site.xml文件编码为utf-8点击第一个图红框位置后，弹出第二个图，选择utf-8后确定即可（我使用的是EverEdit的文本编辑器）...
2021-02-22 16:51:44
1860
原创 idea中导入项目找不到右侧菜单栏中maven选项
前言今天从GitHub下载了一个springBoot工程，在idea里打开后：（1）idea中导入项目找不到右侧菜单栏中maven选项（2）pom文件里的依赖没有引入，代码报红原因这种原因一般是由于读取项目出错，没有正确加载到pom文件造成解决（1）使用idea的快捷键ctrl+N或者help->find action（2）在Actions中输入Maven Projects（3）引入pom文件右侧菜单栏出现maven选项，等待依赖引入即...
2021-01-22 21:44:08
540
原创 no main manifest attribute
前言springboot程序打包报错：no main manifest attribute原因pom文件未加打jar包的配置，导致找不到main方法处理在pom.xml文件里添加如下配置<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-
2021-01-06 22:46:51
560
转载 重置Kafka的消费组的offset
本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前，如果要为已有的consumer group调整位移必须要手动编写Java程序调用KafkaConsumer#seek方法，费时费力不说还容易出错。0.11.0.0版本丰富了kafka-consumer-groups脚本的功能，用户可以直接使用该脚本很方便地为已
2020-08-28 17:11:15
2924
4
转载 自定义缓存
前言先来说一下自定义缓存的实现思路，首先需要定义一个存放缓存值的实体类，这个类里包含了缓存的相关信息，比如缓存的 key 和 value，缓存的存入时间、最后使用时间和命中次数（预留字段，用于支持 LFU 缓存淘汰），再使用 ConcurrentHashMap 保存缓存的 key 和 value 对象（缓存值的实体类），然后再新增一个缓存操作的工具类，用于添加和删除缓存，最后再缓存启动时，开启一个无限循环的线程用于检测并删除过期的缓存，实现代码如下。1、首先，定义一个缓存值实体类，代码如下：
2020-07-12 11:47:49
716
1
转载 更换group.id时kafka从哪开始消费
前言：设置消费者properties的两个参数，这两个参数觉得从哪开始消费的问题1、consumer.group.id2、properties.setProperty("auto.offset.reset", "earliest”) // latest注意：只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.res...
2020-04-16 10:01:09
2147
3
转载 linux下安装redis
选择在Linux下安装redis，现在采用虚拟机安装的centos7 进行安装的1.安装gcc redis是c语言编写的 yuminstallgcc-c++2.下载redis安装包,在root目录下执行 wget http://download.redis.io/releases/redis-5.0.4.tar.gz3.解压redis安装包 tar...
2020-04-14 17:27:36
238
原创 GZIPInputStream报EOFException（异常的getmessage是null）
前言有个前人留下的日志清洗的程序，日志源是gz包的格式，后台拿到gz后进行解压并清洗日志，报错代码如下：//代码里的file对象即为日之源的gz文件BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(new GZIPInputStream(new FileInputStream(file)),...
2020-03-20 16:32:30
1473
原创 Comparator使用记录
1、实体类@Entity@Table(name = "game_server_pay")public class EntityGameServerPay implements Serializable{ private static final long serialVersionUID = 2L; @Id private String projectname; ...
2019-10-17 10:38:05
350
转载 Mysql：ON 与 WHERE 的区别
即使你认为自己已对 MySQL 的 LEFT JOIN 理解深刻，但我敢打赌，这篇文章肯定能让你学会点东西！ON 子句与 WHERE 子句的不同 一种更好地理解带有 WHERE ... IS NULL 子句的复杂匹配条件的简单方法 Matching-Conditions 与 Where-conditions 的不同关于 “A LEFT JOIN B ON 条件表达式” 的一点提醒O...
2019-08-14 20:25:11
307
原创 hibernate的分页数据错乱问题
前言使用hibernate的分页功能时，发现第一页和第二页的数据出现重复现象原因hibernate 分页查询 的第一页 和第二页之后的sql 不一样第一页时是：select * from (myquery) where rownum<？第二页及之后页时是：select * from (select row_.*,rownum rownum_ from (myque...
2019-08-04 13:12:16
563
转载 Kafka为什么那么快的秘密
网上有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章，我会重点解释——为什么真快。（当然不是因为它用了Scala！！！！）生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会...
2019-01-20 14:05:57
275
1
转载 关于Kafka 的消息日志Offset 的了解
转：http://blog.csdn.net/looklook5/article/details/42008079之前在做Kafka 整合Storm的时候，因为对Kafka 不是很熟，考虑过这样的一个场景问题，针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置，Storm每次从kafka 消费数据，都是通过zookeeper存储的数据offset，来判断需要获取消息在...
2019-01-19 18:45:26
1444
原创 kafka的High Level Consumer Rebalance
前言kafka的consumer分为High Level Consumer和Low Level Consumer。本文主要讲High Level Consumer Rebalance，至于High Level Consumer和Low Level Consumer Rebalance的具体内容可以参考这篇博文（https://blog.csdn.net/Poppy_Evan/article/d...
2019-01-19 13:08:10
321
转载 如何为Kafka集群选择合适的Partitions数量
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区需要打开更多地文件句柄 3 更多地分区会导致更高的不可用性 4 越多的分区可能增加端对端的延迟 5 越多的partition意味着需要客户端需要更多的内...
2019-01-19 12:39:24
603
原创 kafka的leader选举过程（详细）
前言要理解kafka的leader选举，先了解下zookeeper的基本操作zookeeper的基本操作备注：本章主要是指作为zookeeper的客户端的基本操作1）四种节点类型PERSISTI PERSIST_SEQUENTIAL EPHEMERAL EPHEMERAL_SEQUENTIAL（1）PERSIST：永久节点，会被持久化到磁盘之中。即使zooke...
2019-01-12 22:03:57
6538
1
原创 zookeeper的广播模式和恢复模式
zookeeper是什么zookeeper是一个高性能分布式应用协调服务。zookeeper主要可以提供如下的服务：（1）Naming Service；（2）配置管理；（3）Leader Election；（4）服务发现；（5）同步；（6）Group Service；（7）Barrier；（8）分布式队列；（9）两阶段提交zookeeper的广播模式1、先来了解几个小知识点 1...
2019-01-05 12:46:26
2926
7
原创 kafka的数据副本机制（详细解读）
前言为了数据的安全性，我们在实际的工作中，不可避免的需要考虑kafka的数据备份问题，否则数据丢失了，就无法恢复了。所以数据的备份机制是很重要的。副本介绍正常情况下，kafka里的数据都不能只有一份。假设我们保存了N个副本，即topic每个partition都有N个副本（Replica）。并且副本的个数一定小于broker个数。（因为每份数据的副本必须保存在不同的broker，否则没有...
2018-12-30 22:42:55
9154
原创 使用filesystemxmlapplicationcontext，绝对路径不生效问题
前言很多人在使用filesystemxmlapplicationcontext（“绝对路径”），即使加了绝对路径时，发现任然是无效的。例如下图的代码，运行后任然是无效的。ApplicationContext fsxac = new FileSystemXmlApplicationContext( "/src/conf/databases.xml");原因那为什么加了绝对路径还是不...
2018-12-26 19:54:20
1128
1
原创 CAP理论
前言CAP理论是Consistency、Availability和Partition tolerance这单个单词的缩写。1）Consistency（一致性）强一致性：数据更新后，可以立即感知到该更新。弱一致性：数据更新后，允许部分或者全部感知不到该更新。最终一致性：数据更新后，一定时间后，一定可以感知到该更新。总的来说就是：某个节点的写操作对其他节点的读可见。用通俗化描述...
2018-12-24 22:55:54
206
原创 XML语法
前言 xml是一种可扩展的标记语言，在语法上与HTML相似，但HTML的标签是固定不变的，而xml的标签是可以用户自定义的。W3C在1998年2月发布了1.0版本，2004年2月又发布了1.1版本，但因为1.1版本不能兼容1.0版本，所以很少用1.1版本的。以下是一个xml实例<?xml version="1.0" encoding="UTF-8"?><...
2018-12-24 22:40:48
2382
原创 MySQL无法使用索引的情况（最简洁，最通俗的语言表述）
一、加了单索引依然全表扫描的情况1）没有使用where语句，无法使用索引2）有where语句，但是where语句里使用了 !=或<>或not或like的情况，无法使用索引。二、加了混合索引依然全表扫描的情况假设设置了混合索引（c1,c2,c3）。那么只有（c1）、（c1,c2）、（c1,c2,c3）是有效索引。像（c2,c3）是无法使用索引的。...
2018-11-07 22:48:46
289
原创 多线程学习笔记
一、使用同步代码块和同步方法的弊端 1、何为同步代码块synchronized (锁对象) {可能会产生线程安全问题的代码}或者同步方法 public synchronized void fun() {}2、弊端同步代码块释放锁的情况不明了，假设进程拿到锁了，但是在还未释放锁的时候发生了异常。这样这个锁永远得不到释放，别的进程也就永远拿不到锁了。 二、使用锁的时候常容易...
2018-11-01 22:55:26
246
原创 IDEA,代码缩略简化展示，点击后才能完整展示
问题：idea的代码例如，set，get等，刚打开的时候都是缩略展示，只有点击的时候才能完整展示。解决：把红框里的去掉即可解决。
2018-10-23 15:51:29
4356
原创 Presto老自动重启的解决方案
前文使用presto跑任务的时候，基本上每隔30分钟就自动重启。情况分析由于项目需要跑一定历史时期的数据，为了加快运行速度。增加了并行的sql数。解决提高内存。...
2018-09-15 15:26:09
961
原创 exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Column 'serverid' cannot be null
前文：第一次使用presto，之前一直用的impala。两个的sql语法还是有一些不同的。之前的一个sql在impala计算是没有问题的，但是同样的sql在presto里跑，老报jdbc4.MySQLIntegrityConstraintViolationException: Column 'serverid' cannot be null。但是serverid不是空的。分析：1，发现...
2018-09-12 10:32:36
1443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人