![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
备忘
记录一些偶尔需要使用经常忘记的
Java小田
这个作者很懒,什么都没留下…
展开
-
js、java、pg、Doris各端中英文排序差异
js、java、pg中英文排序差异原创 2022-08-03 16:00:08 · 565 阅读 · 0 评论 -
kafka消费者程序日志报错Offset commit failed问题研究
kafka消费者程序日志报错Offset commit failed问题研究原创 2023-10-11 10:29:46 · 2963 阅读 · 0 评论 -
服务器时间正确,Java程序时区不对问题解决
java获取时区不对问题解决原创 2023-09-11 11:14:56 · 1021 阅读 · 0 评论 -
flink on yarn任务中文乱码问题解决记录
flink任务中文乱码问题解决原创 2023-09-11 10:20:52 · 629 阅读 · 0 评论 -
hdfs重平衡操作
hdfs重平衡操作原创 2021-12-13 11:37:39 · 2238 阅读 · 2 评论 -
大数据资料文章
大数据资料文章原创 2022-06-25 17:35:29 · 276 阅读 · 0 评论 -
RocketMq客户端日志参数设置
RocketMq客户端日志参数设置原创 2022-06-21 10:40:12 · 2120 阅读 · 0 评论 -
namenode元数据多目录配置及测试
namenode元数据多目录配置及测试原创 2022-06-15 20:18:48 · 954 阅读 · 0 评论 -
hive临时目录清理
hive临时目录清理原创 2023-03-01 15:27:29 · 1229 阅读 · 0 评论 -
收藏【Spring Boot引起的“堆外内存泄漏”排查及经验总结】
Spring Boot引起的“堆外内存泄漏”排查及经验总结原创 2022-06-13 16:31:20 · 367 阅读 · 0 评论 -
Hadoop监控文章收藏整理
Hadoop监控原创 2022-06-08 10:17:46 · 165 阅读 · 0 评论 -
Number of Under-Replicated Blocks长期大于0问题解决
hdfs Under-Replicated Blocks数长期大于0问题解决原创 2022-05-30 10:13:07 · 865 阅读 · 0 评论 -
hadoop yarn ui2编译问题记录
编译yarn ui2原创 2022-05-25 15:16:43 · 770 阅读 · 0 评论 -
Hadoop本地调试环境搭建
Hadoop本地debug原创 2022-05-20 16:38:35 · 536 阅读 · 0 评论 -
本地debug Hadoop代码
本地debug Hadoop代码原创 2022-05-21 11:27:03 · 251 阅读 · 0 评论 -
ambari数据库迁移操作记录
ambari MySQL数据库迁移原创 2022-04-24 09:33:51 · 729 阅读 · 0 评论 -
利用ansible cron进行服务器定时日志清理
方案:创建定时清理日志脚本,通过find命令删除7天以外的日志文件,然后通过ansible分发到各个服务器进行定时执行vim /data/script/clean_log.shfunction cleanLog(){ path=$1 name=$2 if [ -d $path ];then echo "清理$path路径下的$name日志" find $path -mtime +7 -name原创 2022-04-19 11:00:49 · 2921 阅读 · 0 评论 -
【备忘】ansible避免公钥确认
ansible避免公钥确认原创 2022-04-19 10:37:55 · 1751 阅读 · 0 评论 -
【备忘】统计hive事务表数量
因为一些原因,要清点一下线上hive事务表有多少几千个表一个个去看得累死人灵机一动可以通过元数据来查嘛这里记录一下:#事务表的库名、表名、创建时间SELECT d.`NAME` db_name,t.TBL_NAME,FROM_UNIXTIME(t.CREATE_TIME) create_time FROM `TABLE_PARAMS` tpINNER JOIN TBLS t on tp.TBL_ID=t.TBL_IDINNER JOIN DBS d on t.DB_ID=d.DB_IDWH原创 2022-03-03 16:39:29 · 1710 阅读 · 0 评论 -
【备忘】maven跳过ssl验证
由于公司网络策略设置原因,配置apache的nexus下载flink-doris-collector依赖报错:[ERROR] Failed to execute goal on project demo: Could not resolve dependencies for project com.tianzy.demo:demo:jar:1.0-SNAPSHOT: Failed to collect dependencies at org.apache.doris:doris-flink-connec原创 2022-03-02 17:54:31 · 3849 阅读 · 0 评论 -
keepalived启动失败问题记录
执行systemctl start keepalived命令启动keepalived服务执行完之后立马执行systemctl status keepalived,发现服务状态OKps -ef | grep keepalived也能看到keepalived进程但是过一会再看,发现进程没了systemctl status keepalived也显示inactive(dead)状态通过ip -br a命令验证是否达到预期,发现vip配置也确实没生效keepalived日志默认是在 /var/log/m原创 2022-02-14 20:05:07 · 4692 阅读 · 0 评论 -
spark 读取hive事务表
spark通过JDBC读取hive事务表https://github.com/Gowthamsb12/BigData-Blogs/blob/master/Spark_ACIDimport org.apache.spark.sql.jdbc.JdbcDialect object HiveDialect extends JdbcDialect { override def canHandle(url : String): Boolean = url.startsWith("jdbc:hive2")原创 2021-12-29 15:00:07 · 1650 阅读 · 0 评论 -
azkaban上传zip报错:Error Chunking during uploading files to db
上传时页面报Instalation FailedError Chunking during uploading files to db查看web-server日志:2021/11/26 11:20:38.253 +0800 INFO [ProjectManagerServlet] [Azkaban] Installation Failed.azkaban.project.ProjectManagerException: Error Chunking during uploading files .原创 2021-11-26 11:34:36 · 894 阅读 · 0 评论 -
ssh免密钥登录失败原因排查
最近多次遇到不同原因导致ssh免密钥登录的问题,明明都配置好了,但是就是不通。这里记录一下排查问题的思路,作为备忘。查看debug日志很关键客户端:参数加-v,比如ssh -v xxx.com服务端:vim /etc/ssh/sshd_config修改日志等级为DEBUG,默认LogLevel INFO改为LogLevel DEBUG然后通过tail -f /var/log/sshd.log查看日志场景一ssh时报:ssh_exchange_identification: read原创 2021-11-25 21:10:32 · 5123 阅读 · 0 评论 -
使用自定义类加载器加载java.lang.String
前几天跟同事聊怎么用自定义类加载器加载java.lang.String的问题,正好又遇到一个类加载器的问题,决定花点时间研究一下在查看源码研究的过程中,我发现很多人都有个误区:双亲委派机制不能被打破,不能使用自定义类加载器加载java.lang.String,也是由于这个原因。但是事实上并不是,只要重写ClassLoader的loadClass()方法,就能打破了。如下是我写的一个简单的自定义类加载器:import java.io.File;import java.net.URL;import原创 2021-04-04 17:30:36 · 1561 阅读 · 3 评论 -
【备忘】Ubuntu16编译openjdk8的踩坑
使用centos7编译jdk8的时候很顺利,换成Ubuntu16就一堆坑,根本原因就是系统太新,Ubuntu16自带的jdk版本都到9了~~1、编译的时候添加DISABLE_HOTSPOT_OS_VERSION_CHECK=ok选项,不然会报版本不支持make images DISABLE_HOTSPOT_OS_VERSION_CHECK=ok2、修改hotspot/make/linux/makefiles/adjust-mflags.sh文件第67行,不然会报" recipe for targe原创 2021-04-04 13:30:26 · 502 阅读 · 0 评论 -
【备忘】Git 清理不小心上传的大文件
项目中不小心push本地内存溢出的dump文件,有500多M,虽然后面本地删了再重新push,但是因为Git会保存历史数据,导致项目变得很大,需要进行清理。百度都是说用git filter-branch命令,但是这个命令挺坑的,执行超级慢,所以不建议使用建议使用BFG Repo-Cleaner,简单高效,GitHub地址:https://github.com/rtyley/bfg-repo-cleaner1.开一个新文件夹,然后打开gitbash,拉一份新代码$ git clone --mirro原创 2021-03-25 14:37:47 · 439 阅读 · 0 评论 -
DDD文章收藏
阿里技术专家详解 DDD 系列- Domain Primitive阿里技术专家详解DDD系列 第二弹 - 应用架构阿里技术专家详解DDD系列 第三讲 - Repository模式DDD系列第四讲:领域层设计规范领域驱动设计(DDD)在爱奇艺打赏业务的实践...原创 2021-03-05 10:34:35 · 88 阅读 · 1 评论 -
【备忘】堆外内存分析
JVM启动参数添加:-XX:NativeMemoryTracking=[off | summary | detail]# off: 默认关闭# summary: 只统计各个分类的内存使用情况.# detail: Collect memory usage by individual call sites.jcmd查看NMT报告:jcmd <pid> VM.native_memory [summary | detail | baseline | summary.diff | detai原创 2021-03-05 10:07:24 · 221 阅读 · 1 评论 -
【备忘】TCP状态
三次握手和四次挥手1、建立连接协议(三次握手)(1)客户端发送一个带SYN标志的TCP报文到服务器。这是三次握手过程中的报文1.(2) 服务器端回应客户端的,这是三次握手中的第2个报文,这个报文同时带ACK标志和SYN标志。因此它表示对刚才客户端SYN报文的回应;同时又标志SYN给客户端,询问客户端是否准备好进行数据通讯。(3) 客户必须再次回应服务段一个ACK报文,这是报文段3.2、连接终止协议(四次握手) 由于TCP连接是全双工的,因此每个方向都必须单独进行关闭。这原则是当一方完成它的转载 2021-03-04 11:34:42 · 263 阅读 · 1 评论 -
【备忘】Arthas热更新代码
#反编译$ jad --source-only com.yingzi.fpf.share.application.fpf.pig.impl.PigletDayAgeCalc > /tmp/PigletDayAgeCalc.java# 修改文件$ vim /tmp/PigletDayAgeCalc.java# 查找加载的 ClassLoader$ sc -d *PigletDayAgeCalc | grep classLoaderHashclassLoaderHash 47d384ee原创 2021-02-25 09:15:59 · 371 阅读 · 0 评论 -
【备忘】树莓派上安装 docker 记录
树莓派上 Docker 的安装和使用关于Docker在树莓派上的5件事树莓派4B安装docker-compose(64位Linux)#下载 Docker 图形化界面 portainersudo docker pull portainer/portainer#创建 portainer 容器sudo docker volume create portainer_data#运行 portainersudo docker run -d -p 9000:9000 --name portainer原创 2020-11-12 19:15:07 · 139 阅读 · 0 评论 -
【备忘】Iptables 端口转发
查看:iptables -t nat -nL --line转发端口到其他ip:iptables -t nat -A PREROUTING -p tcp --dport 9000 -j DNAT --to-destination 172.17.0.4:9000原创 2020-11-12 19:09:15 · 144 阅读 · 0 评论