践者-CSDN博客

原创 elastic-job和xxl-job实践对比

elastic-job与xxl-job的实践数据对比。从多个维度，数据进行更适合的选择。简介技术文档都比较完善，学习成本低。elastic-job官网地址：https://shardingsphere.apache.org/elasticjob/current/cn/overview/E-Job 关注的是数据，增长了弹性扩容和数据分片的思路，以便于更大限度的利用分布式服务器的资源。可是学习成本相对高些，推荐在“数据量庞大，且部署服务器数量较多”时使用算法xxl-job官网地址：h.

2022-02-21 16:49:34 1414

原创 MongoDB 查询超时异常 SocketTimeoutException

摘要：在对大数据量的集合进行聚合操作，如果用时过长，偶尔会发生Read timed out异常。问题概要在对超过百万条记录的集合进行聚合操作。偶尔会发生Read timed out 异常。通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！然后查看MongoDB的配置信息： socket-timeout="5000" //5ssocket-timeout的默认配置为0，也就是没有限制。没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。.

2022-01-20 10:34:20 3278

原创 monggo索引优化

mongodb索引规则mongodb索引规则基本上与传统的关系库一样，大部分优化MySQL/Oracle/SQLite索引的技巧也适用于mongodb。为什么用索引当查询中用到某些条件时，可以对该键建立索引，以提高查询速度。数据量多且查询多余更新时，可以用索引提高查询速度。废话不多说，先上图，后再说表总数据2000万+查询表索引情况查询在没有建立索引情况下执行对需要过滤字段建立索引(此时数据库拥有2000万+数据，执行时间89s)查询表索引情况(已建立

2022-01-20 10:33:35 1711

原创 RocketMq源码刨析之分布式事务

RocketMq源码刨析想必大家都比较熟悉RocketMQ,阿里开源消息队列项目。对于队列来说可以直接强势得理解成，处理并非、分布式事务得敌虫。[源码地址]: https://github.com/apache/rocketmqRocketMq4.3版本支持分布式事物案例入口【org.apache.rocketmq.example.transaction.TransactionProducer】 //实现监听 TransactionListener transactionLi

2022-01-20 10:32:10 1226

原创 JDK8之ConcurrentHashMap源码刨析实现原理

ConcurrentHashMap源码刨析ConcurrentHashMap相比于HashMap来讲，是线程安全的。底层的数据结构相同，都是数组+链表+红黑树。Segment分段锁技术因Segment继承ReentrantLock加锁，所以ConcurrentHashMap支持并发操作。 static class Segment<K,V> extends ReentrantLock implements Serializable { private static

2022-01-20 10:31:30 587

原创 JDK8之HashMap源码刨析实现原理

HashMap源码刨析Map接口的基于哈希表的实现。此文章参考连接官网解释剖析解析重点一默认初始容量 (16) 和默认负载因子 (0.75) 的空HashMap,最大容量，在两个带参数的构造函数中的任何一个隐式指定更高的值时使用。必须是 2 的幂 <= 1<<30 (1073741824)。构造函数/***最大容量，在两个带参数的构造函数中的任何一个隐式指定更高的值时使用。必须是 2 的幂 <= 1<<30。*/ static fina

2022-01-20 10:30:54 426

原创 SpringCloud服务多实例注入Consul挂掉问题

相信大家在使用SpringCloud服务的发现与注册，都会对Eureka、Zookeeper、Consul熟悉吧。18年7月份爆出了Eureka2.0不在对外开源的消息。相信会有一部分程序猿逐渐往Consul发展。这其中也包含小生我。问题SpringCloud+1.2.x时候最严重的一个问题，就是多实例注册的问题.原因概述主要原因是SpringCloud中Consul在注册的时候实例名采用了：服务名-端口号{spring.application.name}-{server.port}）的值，可以.

2022-01-12 15:29:40 1059

原创一台电脑利用秘钥绑定多个ssh-key账号

因新环境利用内部邮箱创建git账账号管理项目，自己玩时有一个git账号。公司绑定gitLab，自己绑定了git.coding.net以及gitHub.com。从而两则在提交代码时发生了权限问题以及冲突。本文在windows环境下配置Git多账号支持SSH-KEY。配置github.com、git.coding.net 、gitLab的SSH-KEY.注意：因本已配置SSH-KEY，在此就不测试。发截图即可。生成gitHub.com以及gitLab对应的私钥公钥（目录一般存在于C:\Users.ss.

2022-01-12 15:28:32 496

原创利用HDFS、RabbitMQ、MongoDB实现统计

IPTV行业桌面数据分析，分析用户行为数据。每天数据量可达3000万。统计用户访问量（PV）、UV（独立用户）、VV（视频播放次数）、DAU（日活）、WAU（周活）、MAU（月活）、月开机率、点击次数、排行榜数据等等。架构设计client上报数据存入缓存中定时将缓存的字符流刷新到文件，并将文件上传到hdfs通过mq 客户端发送至服务端mq服务端监听到hdfs进行处理（将字节数组反序列化为实体Bean）将其实体Bean写入mongo数据库利用mongoDB聚合函数aggregate(.

2022-01-12 15:27:37 798

原创大数据案例之HDFS-HIVE

基于Hdfs、hive、mysql数据处理案例，闲时自玩项目数据采集数据采集方式有很多种，一般在项目中采用数据上报方式。本地为了方便测试则采用读取csv文件。后续python自动抓取数据。链接: https://pan.baidu.com/s/1cOCe1GXAxtkXCUbvY0MWFw 提取码: r23c数据量不多，侧重于功能数据处理清洗数据,统计分析数据，结果存储HDFS ,加载至HIVE, Sqoop至MYSQLCSV 数据加载入Hadoop 部分代码 publi.

2022-01-12 15:26:14 1316

原创微信支付宝支付经验以及相关坑

此片文章介绍对接微信、支付宝所遇到的问题以及经验之谈。准备工作支付类型文档对接难易程度文档地址支付宝文档写的不错易https://docs.open.alipay.com/api_1/alipay.trade.fastpay.refund.query微信不想说了难（也不能说难应该是坑）https://pay.weixin.qq.com/wiki/doc/api/app/app.php?chapter=8_1熟悉支付流程支付宝微信有萝卜有坑.

2022-01-12 15:23:46 350

原创腾讯云IM支持JAVA Server

因阿里云IM服务不稳定，网易云太贵，现切换至腾讯云。起因根据腾讯云官方文档利用Java编写Server，因腾讯云现不支持Java。官方在后台服务中调用 REST API，本质上是发起 HTTPS POST 请求。云通信提供了 Server SDK 来封装对 REST API 的调用，开发者可以将其直接集成到您的服务端代码中。PHP Server SDK；Node.js Server SDK；Java Server SDK 敬请期待 (完善中)；Golang Server SDK（敬请期待.

2022-01-12 15:12:32 463

原创服务器load average异常

4核16G的设备，正常load average不大于4，表示系统一直处在负载状态，程序有异常。每日服务器性能邮件告警4核16G的服务器，load率达到了 6.97, 6.70, 4.87.信息总览:CPU 内核：4核CPU load率： 6.97, 6.70, 4.87总内存：15.3 GiB 使用内存：4.7 GiB 剩余内存：10.600000000000001GiBTOP前5: PID %CPU %MEM VSZ .

2022-01-12 15:11:37 1107

原创服务无缘无故宕机

定时服务无缘无故宕机了，服务相关日志没有任何错误日志。首先报告领导恢复业务排查问题监控服务服务宕机了因服务没有监控，导致服务宕机没有发现，还是通过统计数据异常发现问题，立马去查看log日志。。。很奇怪项目日志没有任何error日志，大大的加深了问题排查。查看jvm错误日志hs_err_pid*****.log，JVM crash信息，我们可以通过分析该文件定位到导致 JVM Crash 的原因，从而修复保证系统稳定日志头## There is insufficient mem.

2022-01-12 15:11:14 813

原创带你认识K8S

一、了解基本知识官方网站https://kubernetes.io/官网中文地址https://kubernetes.io/zh/docs/home/二、安装部署自己动手安装部署，先通过命令简单熟悉下，尽量自己建立虚拟机进行安装部署。官方安装步骤：https://kubernetes.io/zh/docs/tasks/tools/总结的安装步骤：https://www.updatecg.xin/2021/08/19/%E9%83%A8%E7%BD%B2%E4%B8%80%E5%A5%97

2022-01-12 15:04:39 242