- 博客(689)
- 资源 (26)
- 收藏
- 关注
RSS订阅
原创 Google引爆大数据时代的三篇论文
Google三大理论（论文） 谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法...
2018-08-19 17:37:13
5198
3
原创 Linux使用总结（持续更新）
一、Linux 安装参考《02_Linux安装.docx》，目录bin (binaries)存放二进制可执行文件 sbin (super user binaries)存放二进制可执行文件，只有root才能访问 etc (etcetera)存放系统配置文件 usr (unix shared resources)用于存放共享的系统资源 home 存放用户文件的根目录 roo.........
2018-07-29 18:48:52
2847
2
原创 Fabric8 管理k8s集群 Java API
上述代码中，我们使用DeploymentBuilder创建了一个Deployment对象，并使用createOrReplace方法将其创建或更新到集群中。一旦我们连接到了Kubernetes集群，我们可以使用io.fabric8.kubernetes-client来创建、更新和删除Kubernetes资源，例如部署、服务、Pod等。类似地，可以使用io.fabric8.kubernetes-client来创建和管理其他资源，例如Service、Pod、ConfigMap等。
2023-08-07 23:45:00
103
原创 一致性哈希算法 consistent hashing
总结，一致性哈希算法也是使用取模的方法，只是，普通哈希取模法是对服务器的数量进行取模，而一致性哈希算法是对2^32取模。
2023-08-04 23:30:00
48
转载 PlantUML 语法之时序图
IDEA下载插件PlantUML，直接在IDEA里面编写UML，很方便；然后电脑再安装渲染引擎Gravizo，没有它，复杂的类图就无法渲染了；对了PlantUML插件，貌似不提供拖拽控件，这无所谓，就像真正的安卓高手，写布局，绝对不会是拖拽控件的，肯定是手写xml文件；如果看到这了，也不用挑了，PlantUML无比强大，颜值也不差，支持导出普通图片和矢量图，就选PlantUML。
2022-12-16 13:43:36
699
2
转载 TIME_WAIT和CLOSE_WAIT状态区别
常用的三个状态是：ESTABLISHED 表示正在通信，TIME_WAIT 表示主动关闭，CLOSE_WAIT 表示被动关闭。
2022-10-21 23:30:00
530
原创 Docker容器整合wagon-ssh自动化部署SpringBoot工程
一、前提条件：机器上已经安装了docker(安装过程) 准备部署的springboot的jar包 Dockerfile文件 部署脚本deploy.sh 升级脚本upgrade.sh二、准备Dockerfile文件创建一个Dockerfile(在宿主机器任意位置)内容如下：vi DokckerfileFROM java:8ADDspringboot-webser-0.0.1-SNAPSHOT.jar app.jarENTRYPOINT ["java","-Djava.se
2022-10-07 23:31:00
691
2
原创 PostgreSQL数据库备份脚本
#!/bin/bash#操作类型，backup、restoretype=$1#造作数据库schema名dbname=$2#备份文件名，格式为：注册名_yyyyMMddHHmmss.sqlbackupFileName=$3#数据库所在服务器ipdbhost=$4#固定存储目录/home/backup/if [ ! -d "/home/backup/" ];then mkdir "/home/backup/"fibackupFile="/home/backup/"${ba...
2022-10-01 17:44:24
1250
原创 spring-expression表达式详解
Spring Expression Language（简称 SpEL）是一个支持查询和操作运行时对象的强大的表达式语言。贯穿着整个 Spring 产品组的语言。
2022-09-30 23:45:00
2918
原创 XXL-JOB分布式任务调度平台
XXL-JOB 是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
2022-07-26 23:45:00
274
转载 2万字详解，吃透 ES
之前已经分享过Elasticsearch的使用和原理的知识，由于近期在公司内部做了一次分享，所以本篇主要是基于之前的博文的一个总结，希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。...
2022-07-26 23:30:00
277
原创 SNMP(简单网络管理协议)详解
SNMP(简单网络管理协议)：专门用于在 IP 网络管理网络节点（服务器、工作站、路由器、交换机及HUBS等）的一种标准协议，它是一种应用层协议。SNMP 使网络管理员能够管理网络效能，发现并解决网络问题以及规划网络增长。通过 SNMP 接收随机消息（及事件报告）网络管理系统获知网络出现问题。........................
2022-06-13 11:29:33
16746
2
原创 FAQ：报红--maven本地有jar包仍从从远端下载
方式一：删除 _remote.repositories 文件最近编译项目，发现有个模块总是遍不过，报无法download jar包。跑到maven配置的远端仓库，发现maven已不支持该jar包。但是本地确实存在，为什么要从远端再下嘞？不知道解决方法：将本地仓库中的*.jar包中的_remote.repositories文件（或者文件后缀是 lastUpdated 的文件删除），不再去远程下载。pom.xml文件文件更新，需要先删除—>更新—>重新引入—>再更新原因：就
2022-05-31 23:30:00
4964
转载 5GC architecture N1、N2、N3、N4、N6等接口
5GC architecture N1、N2、N3、N4、N6、N9、N26接口N1接口N1接口为UE和AMF间的信令面接口。N1是逻辑概念的接口，不存在物理口。N1接口基于N2接口信令实现。N2接口N2接口为(R)AN和AMF间的信令面接口。类似于4G中的s1-mme接口。N3接口N3接口是5G (R)AN（Radio Access Network ）与UPF（User Plane Function）间的接口，主要用于传递5G (R)AN与UP.
2022-05-07 23:45:00
21750
1
转载 5GC 网元AMF、SMF、UPF、PCF、UDM等介绍
5GC 网元AMF、SMF、AUSF、UPF、PCF、UDM、NRF、NSSF、NEF介绍1、AMFAccess and Mobility Management Function，接入和移动性管理功能，执行注册、连接、可达性、移动性管理。为UE和SMF提供会话管理消息传输通道，为用户接入时提供认证、鉴权功能，终端和无线的核心网控制面接入点。类似于4G MME中移动性管理。AMF分配5G-GUTI，AMF选择SMF。2、SMFSession Management fun
2022-05-07 23:30:00
25086
原创 docker打包流程常用方式
完整的docker打包流程把外网服务器上的docker搬到内网使用时，报了两个错误，外网容器到tar包都没问题，在内网使用tar包的时候报了两个错误cannot connect to the Docker daemon at is the docker daemon running starting container process caused: "exec: "/bin/sh": stat /bin/sh: no such file or directory发现是tar包到镜像的问题
2022-03-31 23:30:00
6550
原创 postgresql查询表元数据信息语句
select tablename from pg_tables where schemaname = 'public' and tablename like '%_table' order by tablename
2022-02-22 15:46:40
1144
转载 wireshark抓包教程详解
wireshark抓包新手使用教程 Wireshark是非常流行的网络封包分析软件，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程各种问题定位。本文主要内容包括： 1、Wireshark软件下载和安装以及Wireshark主界面介绍。 2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。 3、Wireshark过滤器使用。过滤器包含两种类型，一种是抓包过滤器，就是抓取前设置过滤规则。另外一种是显示过滤器，就是在数据包分析时进行过...
2022-02-17 23:45:00
90477
4
原创 linux tcpdump抓包命令使用详解
一、抓包命令概述作用：（1）捕获网络协议包（2）分析网络协议包分类：（1）命令行工具，如tcpdump（2）图像界面工具，wireshark tcpdump是一个用于截取网络分组，并输出分组内容的工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。 ...
2022-02-17 23:30:00
1908
原创 Windows dos命令使用总结（持续更新）
1、windows如何通过CMD命令结束某个端口的进程：netstat -ano | findstr 端口号 tasklist | findstr 进程PID taskkill -PID 进程PID -F
2022-02-10 23:45:00
340
原创 linux进程kill命令关不掉
进程已经成为僵尸进程（Zombie），当它的父进程将它回收或将它的父进程kill掉即可在ps输出看不到了。（"Zombie"进程要等到下次重启时才会消失，但它的存在不会影响系统性能。）进程正处在内核状态（kernel mode），Linux进程运行时分内核和用户两种状态，当进程进入内核状态后，会屏蔽所有信号，包括SIGKIL，所以这个时候kill -9也变得无效了。
2022-01-06 23:30:00
6027
原创 SpringBoot 异常后更改响应状态码
一、@RestControllerAdvice和@ExceptionHandler拦截异常package com.lxk.socket.collector.common;import com.lxk.base.bean.CommonResult;import com.lxk.base.exception.BusinessRuntimeException;import org.apache.commons.lang.exception.ExceptionUtils;import org.s..
2021-12-28 23:45:00
2807
6
原创 FAQ：sorry，too many clients already
报错如下：sorry, too many clients already解决办法：如果业务上需要增大客户端连接数，那么需要修改max_connections参数的配置打开Postgresql安装目录下的data文件夹，找到postgresql.auto.conf文件，添加下面这段话：max_connections = '800'...
2021-11-26 23:45:00
1135
转载 spring restTemplate超时设置
关于spring resttemplate超时设置Spring org.springframework.web.client.RestTemplate 使用 org.springframework.http.client.SimpleClientHttpRequestFactory建立 java.net.HttpURLConnection 后者采用 HttpURLConnection 的默认超时配置HttpURLConnection 超时属性ConnectTimeout(ms)a speci
2021-11-23 23:45:00
5050
原创 SpringBoot测试类
一、Spring Boot Test介绍Spring Test与JUnit等其他测试框架结合起来，提供了便捷高效的测试手段。而Spring Boot Test 是在Spring Test之上的再次封装，增加了切片测试，增强了mock能力。整体上，Spring Boot Test支持的测试种类，大致可以分为如下三类：单元测试：一般面向方法，编写一般业务代码时。涉及到的注解有@Test。 切片测试：一般面向难于测试的边界功能，介于单元测试和功能测试之间。涉及到的注解有@RunWith @WebMv
2021-11-18 23:45:00
16744
原创 Linux下查看某一进程占用的内存
一、ps -ef|grep flink 和top -p pid 组合Linux下查看某一个进程所占用的内存，首先可以通过ps命令找到进程id，比如：ps -ef|grep flink，可以看到flink task这个程序的进程id已知pid是8678，现在可以使用如下命令查看内存：这样可以动态实时的看到CPU和内存的占用率，然后按q键回到命令行二、直接命令查看 ps -aux|grep flink第一个标注的地方是CPU和内存占用率，后面的15 209 056是物理内...
2021-11-01 23:45:00
28821
原创 常用加密工具类
一、Md5Utilpackage com.lxk.webser.utils;import java.security.MessageDigest;/** * @create 2021/10/26 */public class Md5Util { private static String Md5Util(String s) { try { MessageDigest md = MessageDigest.getInstance("MD5")
2021-10-27 23:45:00
835
原创 FLINK集成REDIS组件，使用异步IO能完全解决性能瓶颈问题？
基于上述的问题，我们先来对异步IO有个大致的认识，了解的同学可以选择跳过。流计算系统中经常需要与外部系统（Redis、MySQL等）进行交互，我们通常的做法如向数据库发送用户a的查询请求，然后等待结果返回，在这之前，我们的程序无法发送用户b的查询请求。这是一种同步访问方式，如下图所示。图中棕色的长条表示等待时间，可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题，异步模式可以并发地处理多个请求和回复。也就是说，你可以连续地向数据库发送用户a、b、c等的请求，与此同时，哪个请求的回
2021-10-24 22:09:10
1027
原创 Caffeine实现数据延迟发送
@Autowiredprivate KafkaTemplate kafkaTemplate;@Autowiredprivate AlarmNormalizedUtil alarmNormalizedUtil;private Cache<String, String> alarmCache = Caffeine.newBuilder() .maximumSize(1000) .scheduler(Scheduler.forScheduledExecuto.
2021-10-24 22:08:39
287
原创 线上修改jar包中配置文件
一、解压修改后再打包解压：jar xvf xxx.jar打包：jar cvfm0 xxx.jar META-INF/MANIFEST.MF ./注：-m参数可以将 一个具体的mainfest文件打包进入jar内生成mainfest文件，否则运行jar会报no main manifest attribute in xxx.jar-0是store only；use no zip compression 只存储，不压缩使用jar -h查看帮助二、直接修改jar中的文件首先安装zip
2021-10-24 22:07:56
575
原创 spring boot 拦截 以及Filter和interceptor 、Aspect区别
一、通过Filter这个大家很熟悉了吧,这是java规范的一个过滤器，他会拦截请求。在springboot中一般有两种配置方式。这种过滤器拦截并不知道你用的是哪一个Controller处理也不知道你用哪一个方法处理。过滤器使用的主要是反射 ；拦截器使用的主要是回调 ；AOP使用的主要是动态代理。一个请求过来 ，先进行过滤器处理，看程序是否受理该请求。过滤器放过后， 程序中的拦截器进行处理，处理完后进入被AOP动态代理重新编译过的主要业务类进行处理 。Filter：和框架无关，可以控制最初的ht..
2021-10-24 22:07:14
2354
原创 jar包常用启动/停止脚本
start.sh脚本[root@xxx auto-deploy]$ cat start.sh#!/bin/bashexport BASE_DIR=`cd $(dirname $0)/..; pwd`JAR_NAME=auto-deploy-0.0.1-SNAPSHOT.jarnohup java -jar ${JAR_NAME} > ./start.out 2>&1 &echo "jar ${JAR_NAME} is starting"nohup
2021-10-24 22:06:18
606
原创 Java远程执行Shell指令
JSch(Java Secure Channel)是SSH2的一个纯Java实现。它允许你连接到一个sshd 服务器，进而使用端口转发，X11转发，文件传输等等功能。在前面的博客里，有介绍到如何使用JSch实现SFTP的相关操作，本文这里主要介绍如何利用JSch进行远程Shell操作。软硬件环境说明：Windows10、IntelliJ IDEA、SpringBoot 2.1.4.RELEASE、CentOS7。准备工作：在pom.xml中引入JSch依赖<!-- https://mvnre
2021-10-12 20:42:25
1551
原创 FAQ：Docker常见问题及优化
我们在使用 Docker 一段时间后，系统一般都会残存一些临时的、没有被使用的镜像文件，可以通过以下命令进行清理：docker image prune -a它支持的子命令有：-a, --all: 删除所有没有用的镜像，而不仅仅是临时文件； -f, --force：强制删除镜像文件，无需弹出提示确认；另外，执行完docker image prune命令后，还是告诉我们释放了多少存储空间！...
2021-10-12 20:38:36
404
原创 spring-boot List转Page(Pagehelper分页)
1、mybatis整合Pagehelper原理mybatis插件中有一个拦截器org.apache.ibatis.plugin.Interceptor，主要用于mybatis插件的植入。pagehelper的PageInterceptor实现了Interceptor，PageInterceptor在所有执行query操作时插入拦截。地址为：Mybatis-PageHelper/src/main/java/com/github/pagehelper at master · pagehelper/Myb
2021-10-12 20:26:32
2246
原创 重试的工具类Guava-retrying
依赖：<!-- https://mvnrepository.com/artifact/com.github.rholder/guava-retrying --><dependency> <groupId>com.github.rholder</groupId> <artifactId>guava-retrying</artifactId> <version>2.0.0</version&
2021-10-12 20:25:29
247
原创 指定offset/指定时间消费Kafka消息
kafka消费过程难免会遇到需要重新消费的场景，例如我们消费到kafka数据之后需要进行存库操作，若某一时刻数据库down了，导致kafka消费的数据无法入库，为了弥补数据库down期间的数据损失，有一种做法我们可以指定kafka消费者的offset到之前某一时间的数值，然后重新进行消费。首先创建kafka消费服务@Service@Slf4j//实现CommandLineRunner接口，在springboot启动时自动运行其run方法。public class TspLogbookAnal
2021-10-12 20:16:36
5488
原创 5G常见缩略语大全收藏
缩略语 中英文全称 3GPP 3rd Generation Partnership Project 第三代合作伙伴计划 5GC 5G Core Network 5G核心网 AAU Active Antenna Unit 有源天线单元 AI Artificial Intelligence 人工智能 AMF Access and Mobility Management Function 接入及移动性管理功能 AR ...
2021-10-12 19:48:38
1491
原创 Linux服务器之内存过高解决思路
常规操作1. 使用top 查看内存的占用情况，然后键入"M"命令根据内存的占用情况降序排列("P"是CPU占用情况降序排列)2.关闭掉不需要的进程，3.再使用top查看内存占用情况，发觉内存占用率已经降下来了，但是free -g却还有100G被占用（内存总共128G),vmstat发现是cache 占用了大量内存。4. 使用 echo 1 > /proc/sys/vm/drop_caches释放缓存常用的释放缓存的命令如下To free pagecache:仅清除页面缓存（PageC.
2021-09-28 20:41:19
5352
1
dbeaver-ee-latest-win32.win32.x86_64.zip
2019-10-23
03_storm.zip
2019-10-14
HBASE资料.zip
2019-09-08
MobaXterm.rar
2019-07-07
Kafka.zip.002
2019-06-12
Kafka.zip.001
2019-06-12
Kafka.zip.003
2019-06-12
Java8示例代码
2019-05-08
大数据之数据挖掘
2019-03-26
python爬虫资料
2019-03-01
scala学习文档
2019-02-24
大数据开发之内存计算
2019-02-17
scala学习资料
2019-02-17
Python电子书整理
2019-02-13
SVN入门教程
2018-03-11
前端框架、模板和手册
2018-02-06
离线计算系统
2018-02-05
activiti工作流代码示例
2018-01-02
Activiti教案和zip包
2018-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人