自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小蚯蚓的博客

大数据hadoop和linux,java,C#等编程和框架设计

转载 (转)hive中json字符串解析之get_json_object与json_tuple

【转载原因:get_json_object与json_tuple的用法,作者讲解非常清楚】 【转载原文:https://blog.csdn.net/weixin_37536446/article/details/80622220】 在技术对app进行埋点时,会讲多个字段存放在一个数组中,因此...

2020-07-06 00:05:33 20 0

转载 (转)This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its de 错误解决办法

【转载原因:mysql创建函数,报错,参考可以解决】 【转载原文:https://www.cnblogs.com/kiko2014551511/p/11527423.html】 1. 创建函数时报错信息 执行创建函数的sql语句时,提示:This function has none of D...

2020-07-05 14:20:08 25 0

转载 (转)图解SSH原理

[转载原因:作者写的非常详细!收益匪浅] [转载原文:https://www.jianshu.com/p/33461b619d53] 主要内容 1. 初见SSH SSH是一种协议标准,其目的是实现安全远程登录以及其它安全网络服务。 SSH仅仅是一协议标准,其具体的实现有很多,既...

2020-06-29 15:32:44 19 0

原创 IDEA远程调试Tomcat中启动的SpringWeb项目

一、实现功能 IDEA远程调试Tomcat启动的war包应用,否则,一直调试只是使用日志打印关键信息,关键发现关键信息没有打印的时候,需要重新打包布署,非常麻烦。而实现远程调试,则可以快速获得需要的信息,而没必要重新打包,大大提高了程序调试的效率。 二、必备条件 1.环境 服务器:cent...

2020-06-27 20:10:25 68 0

原创 TCP/IP三次握手和四次挥手解释

一、TCP报文结构 1.端口号 TCP报头中的源端口号和目的端口号同IP数据报中的源IP与目的IP唯一确定一条TCP连接 2.序号(4字节=32位) 用来标识TCP发端向TCP收端发送的数据字节流 3.确认序号(4字节=32位) 由于该报文为SYN报文,ACK标志为0,故没有确认...

2020-06-26 14:59:14 43 0

原创 HTTP超时含义:connectionRequestTimeout 、connectionTimeout、socketTimeout代表意义

一.实现功能 解释三者的connectionRequestTimeout 、connectionTimeout、socketTimeout代表意义,进而了解三者的区别. 二.具体区别 1.connectionRequestTimout:指从连接池获取连接的timeout 从连接池获取连接的...

2020-06-20 11:16:13 130 0

转载 (转)搭建Springboot启动报错(An attempt was made to call the method reactor.retry.Retry.retryMax(I)Lreactor/r

[转载原因:springboot使用gson,报类似错误,结果是因为gson版本问题] [转载原文:http://www.manongjc.com/article/24593.html] 本文章向大家介绍搭建Springboot启动报错(An attempt was made to call ...

2020-06-19 11:49:05 30 0

转载 (转)解决github提交commit,contributions不统计显示绿色的问题

[转载原因:github上面的contributions不显示最近提交记录,用户和账号的方法都试过,终于发现是由于项目是fork的,所以不能,作者解答了我的一个疑惑] [转载原文:https://www.cnblogs.com/dongliu/p/5782329.html]   最近使用Git...

2020-06-19 00:54:52 37 0

原创 mysql数据库:MVCC(多版本并发控制)(1)

一、基础事务回顾 在MySQL的众多存储引擎中,只有InnoDB支持事务,所有这里说的事务隔离级别指的是InnoDB下的事务隔离级别。 事务隔离级别,以及导致的问题 隔离级别 定义 脏读 幻读 ...

2020-06-11 13:07:13 71 0

转载 (转)扇区、磁盘块、页、页框、缓冲区之间的关系!

【转载原因:几个基础概念讲解非常清晰明了,收益匪浅】 【转载原文:https://blog.csdn.net/weibo1230123/article/details/83930007】 扇区、磁盘块、页、页框、缓冲区之间的关系! 扇区是块设备传输数据的基本单元,也就是说它是块设备中最小的寻...

2020-06-11 09:54:28 37 0

原创 Centos7.5 最小化系统(无界面)离线升级有界面

一、实现功能 Centos7.5 系统本身安装的是mini版本,没有界面。现在有一些需求需要更新到有界面。 二、实现步骤 1.配置centos7对应版本的iso yum源 参考博客:离线部署:基于CentOS7搭建离线yum源 2.直接安装 yum groupinstall &quo...

2020-05-30 11:38:18 43 0

原创 Centos7.5 离线安装firefox

一、实现功能 Centos7.5 mini版离线安装firefox 二、实现步骤 1. 配置centos7对应版本的yum源 参考博客:离线部署:基于CentOS7搭建离线yum源 2. 安装firefox yum install -y firefox

2020-05-29 18:11:03 61 0

转载 (转)实战:MySQL Sending data导致查询很慢的问题详细分析

【转载原因:遇到同样的问题,但是因为业务问题没有修改,但是解决思路学些了】 这两天帮忙定位一个mysql查询很慢的问题,定位过程综合各种方法、理论、工具,很有代表性,分享给大家作为新年礼物:) 【问题现象】 使用sphinx支持倒排索引,但sphinx从mysql查询源数据的时候,查询的记录数...

2020-05-29 14:42:00 58 0

原创 MySQL优化SQL思路

一、实现功能 MySQL数据库项目中使用,排除项目初期,项目运行中肯定会出现各种慢查询的操作,需要优化。本文结合实际项目经验,总结下SQL调优的思路。 二、实现步骤 1.定位需要优化SQL思路 1.业务慢:打时间日志确认耗时的业务点(大多是由于SQL导致的) 2.MYSQL慢查询日志:慢查询日志,...

2020-05-28 17:42:33 49 0

原创 Mysql批量插入数据问题解决和优化
原力计划

一、问题描述 项目中mysql批量插入大概50000左右数据,使用事务和批量,但是速度依旧很慢,大约60s左右,迫切希望改进这个问题。 二、问题原因 尽管是批量addBatch()但是,mysql却默认没有执行批量,时间还是一条一条添加导致速度非常慢。解决办法:链接mysql字符串添加 rewri...

2020-05-28 15:50:37 66 0

转载 (转)MySQL批量插入处理之提高速度

【转载原因:亲测提升了100倍左右】 【转载原文:https://blog.csdn.net/tolcf/article/details/52102849#】 这是我转载的,但是我亲测了,好用!我的问题这个方法解决了!! 昨天研究了一下mysql的批处理,最初发现很慢 10000条 ...

2020-05-28 15:49:11 41 0

原创 Flume报错:Sinks are likely not keeping up with sources, or the buffer size is too tight

一、问题描述 flume监控日志,同时,发送到flume监控的avro端口,当大量数据1000万条数据适合,flume监控日志的报错。然后,查看flume监控界面,发现flume监控界面消费突然消失。查看监控avro端口的agent的日志报错 Avro source avro_source...

2020-05-27 21:33:31 26 0

转载 (转)jstack命令执行报错:Unable to open socket file: target process not responding or HotSpot VM not loaded

【转载原因:确实需要切换到,该进程启动用户】 【转载原文:https://blog.csdn.net/gsls200808/article/details/86486991】 jstack命令执行报错,报错如下 Unable to open socket file: target proc...

2020-05-26 11:27:15 43 0

转载 (转)maven打包时跳过测试

【转载原因:springboot采用方法三和四都是可以的】 【转载原文:https://blog.csdn.net/so_geili/article/details/79986789】 开发记录 有一个maven项目,我clone一下最新的代码。准备打包(maven package),没想...

2020-05-25 22:14:26 46 0

原创 flume报错:监控的access.log日志数据量大导致 org.apache.flume.ChannelFullException: Space for commit to queue could

一、问题描述 通过flume监控日志,传输到kafka,进而streaming消费,但是,突然streaming消费不到信息。向kafka单独发送消息,streaming可以收到信息,所以确定是flume问题,查看flume日志 Failed while running command:...

2020-05-24 00:12:33 121 0

转载 (转)CDH下集成spark2.2.0与kafka(四十一):在spark+kafka流处理程序中抛出错误java.lang.NoSuchMethodError:

【转载原因:作者写的非常明确,受益匪浅在cdh上集成环境】 【原文连接:https://www.cnblogs.com/yy3b2007com/p/10274053.html】 CDH下集成spark2.2.0与kafka(四十一):在spark+kafka流处理程序中抛出错误java.lan...

2020-05-23 18:23:38 309 0

转载 (转)flume学习笔记(一):cdh5.14.2中安装,启动,测试flume

【转载原因:可以实现基本测试功能】 【转载原文:flume学习笔记(一):cdh5.14.2中安装,启动,测试flume】

2020-05-23 10:18:32 82 0

转载 (转)【漫画】腾讯面试,我竟然输给了final关键字

【转载原因:生动详细,全,看完就想分享,建议直接关注大佬公众号!】 【转载原文:https://www.jianshu.com/p/6eaac05fc2b7】 【漫画】腾讯面试,我竟然输给了final关键字 程序员乔戈里关注 2019.01.01 10:19:26字数 930阅读 17...

2020-05-22 22:23:34 35 0

转载 (转)java final关键字使用及面试题重点

【转载原因:作者写的很清楚】 【转载原文:https://blog.csdn.net/qq_34626097/article/details/83388389】 java final关键字使用及面试题重点 1. 在java中声明类、属性和方法时,可以使用关键字final来修饰,表示“最终的”...

2020-05-22 17:56:52 30 0

转载 (转)JDK1.8 HashMap源码分析

【转载原因:作者写的真是太详细了,可以提升自己理解的hashmap的进度】 【转载原文:JDK1.8 HashMap源码分析】

2020-05-22 15:10:18 41 0

原创 Linux环境cpu过高,定位问题步骤(附实例)

一、问题描述 生产环境cpu过高问题,排查虽然不易,但是是有一定的套路,可以加快问题定位从而排查的。 二、步骤 1.查看cpu占用高的进程 top 2. ps -ef或者jps进一步定位,得知是一个怎么样的一个后台程序 3.查看对应进程下,每个线程的运行情况 ps -mp pid -o...

2020-05-22 11:31:34 327 0

转载 (转)hbase balance命令走过的坑

balance主要有四个命令 balance_switchbalancerbalancer_enabledbalance_rsgroup(如果开启了rsgroup) 1.balance_switch hbase帮助信息: hbase(main):001:0>help 'ba...

2020-05-17 11:58:09 66 0

原创 HBase:不同KeyValue之间如何进行大小比较,为什么Timestamp新的大,反而比较小?

一、疑难描述 学习范欣欣大佬Hbase的读取流程博客,将本地HFile通过StoreFileScanner和MemstoreScanner合并形成一个heap(最小堆),所谓heap是一个优先级队列,队列中元素是所有scanner,排序规则按照scanner seek到的keyvalue大小由小...

2020-05-16 18:51:23 93 0

原创 SpringBoot单元测试,无法导入@RunWith

一、问题描述 Springboot项目,使用单元测试,但是本地无法导入@RunWith注解。 然而,pom中又已经加载了 <dependency> <groupId>org.springframework.boot<...

2020-05-12 00:01:17 288 0

转载 (转)MYSQL如何设置大小写敏感

【转载原因:记录一下】 linux下mysql设置大小写不敏感 1、linux下mysql安装完后是默认:区分表名的大小写,不区分列名的大小写; 2、用root帐号登录后,在/etc/my.cnf 中的[mysqld]后添加添加 lower_case_table_names=1 重启MYS...

2020-05-11 15:31:24 68 0

转载 (转)IDEA连接Github报错:Can't login:Connection reset

【转载原因:github时常push时候推报错,但是偶尔又ok,就是因为网络不稳定,配置hosts映射不错】 【转载原文:https://blog.csdn.net/lyxuefeng/article/details/105087699】 开启命令提示符,执行命令ping github.co...

2020-05-10 22:51:09 743 0

转载 (转)java中异或运算的应用

java中异或运算(^)的应用 异或运算法则   1. a ^ b = b ^ a   2. a ^ b ^ c = a ^ (b ^ c) = (a ^ b) ^ c;   3. d = a ^ b ^ c 可以推出 a = d ^ b ^ c.   4. a ^ b ^ a = b. 异或...

2020-05-10 17:40:05 41 0

原创 Spring定时任务配置

一、实现功能 Spring实现定时任务。 二、环境 3.1.2.RELEASE 三、具体操作步骤 1.spring配置添加 (1)扫描包 (2)添加支持注解 (3)支持定时任务 <task:annotation-driven scheduler="mySchedul...

2020-05-09 17:49:49 95 0

原创 idea多模块项目间通过配置pom.xml相互引用

一、实现功能 idea创建多模块项目时,模块本身是独立的,对于大项目,建立模块之间的相互引用也是必须的。 二、方法/步骤 1.新建共享接口模块dubbo-interface-service-common 2.此时两个模块:dubbo-user-service-provider和dubb...

2020-05-01 12:40:42 190 0

转载 (转)Maven 指定 JDK版本 1.8 进行编译 ——maven-compiler-plugin插件等

【转载原因:总结很好,可以直接使用,省去每次调试setting】 【转载原文:https://blog.csdn.net/coding_1994/article/details/103172315】 在不同环境中,使用maven编辑项目,如果不指明版本就容易出现版本不匹配的问题,可能导致编译不...

2020-05-01 11:36:17 153 0

转载 (转)解决github图片不显示问题

【转发原因:同样的git无法浏览图片,添加这些配置后,可以显示,本文帮助很大~】 【转载原文:https://blog.csdn.net/weixin_42128813/article/details/102915578】 今天在github上查阅资料,但是页面的图片不显示 解决方法,打开路...

2020-05-01 07:30:29 376 0

原创 Tomcat的GC优化实践
原力计划

一、实现Tomcat的gc优化 Tomcat运行java web程序,如果只是满足功能要求,那么无需调节性能。但是,应用上生产后,稍微一点的优化都会产生产生巨大的效率提升。所以,Tomcat的优化是必须的,其中gc优化又是关键一条。 二、环境 tomcat8.0+ jdk1.8 三、设置...

2020-04-29 22:45:49 81 0

转载 (转)史上最强Tomcat8性能优化

【转载原因:大佬写的真的很详细,很厉害,涉及到gc调优和链接调优,确实是实际生产经验,收益匪浅!】 【转载原文:史上最强Tomcat8性能优化】

2020-04-29 15:23:01 31 0

原创 Gson和Fastjson区别以及使用推荐

一、Gson和Fastjson的区别 Gson是目前功能最强的Json解析神器, 可以通过toJson与fromJson两个转换函数两个函数进行对象的序列号和反序列化,可以对复杂类型的bean到json之间,进行转换,精确度无与伦比。同时,是无依赖,不需要例外额外的jar,能够直接跑在JD...

2020-04-29 10:13:22 181 0

转载 (转)zookeeper报错:NoNodeException: KeeperErrorCode = NoNode for /XXX Node does not exist

【转载原因:并发访问zookeeper节点,会爆出NoNode问题,原因类似,因为还没有创建。】 【转载原文:https://blog.csdn.net/harry5508/article/details/86692997】 本地调试项目时,启动本地zookeeper: 命令:./zkS...

2020-04-25 08:05:49 137 0

提示
确定要删除当前文章?
取消 删除