- 博客(700)
- 资源 (26)
- 收藏
- 关注
原创 Google引爆大数据时代的三篇论文
Google三大理论(论文) 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文,奠定了风靡全球的大数据算法...
2018-08-19 17:37:13 5780 3
原创 Linux使用总结(持续更新)
一、Linux 安装参考《02_Linux安装.docx》,目录bin (binaries)存放二进制可执行文件 sbin (super user binaries)存放二进制可执行文件,只有root才能访问 etc (etcetera)存放系统配置文件 usr (unix shared resources)用于存放共享的系统资源 home 存放用户文件的根目录 roo.........
2018-07-29 18:48:52 3572 2
原创 Redis和Mysql连接数过多问题排查及设置
ClientsCLIENT LIST 获取客户端列表CLIENT SETNAME 设置当前连接点 redis 的名称CLIENT GETNAME 查看当前连接的名称CLIENT KILL ip:port 杀死指定连接通过INFO命令可以获取更多关于连接状态的信息,包括通过不同协议和客户端类型建立的连接数。注意:INFO命令返回的是Redis服务器的状态信息,包括配置、性能指标等。连接信息位于"clients:"节中。
2024-07-24 23:45:00 743
原创 Docker容器内时区设置
在使用国外服务器 VPS 时,大家往往需要将服务器的时区改为国内的。但如果时区没有改好时,在启动相关服务经常会报错。导致两个文件的时区不一致。经过排查发现,只是把。
2024-07-24 23:30:00 228
原创 Docker 镜像导入导出
在 A 服务器上保存容器为镜像:首先停止运行的容器(如果有),然后使用。docker save -o <保存的文件路径> <镜像名称>docker commit <容器ID> <新镜像名称>docker load -i <镜像文件路径>docker stop <容器ID>命令将容器保存为镜像。命令将镜像保存为文件。将镜像保存为文件:使用。
2024-07-19 10:46:43 258
原创 Kafka的配置文件详解及优化
生产者把消息发送到broker之后,并且消息被写入到本地文件,才认为发送成功,这是第二种情况;#而broker集群是不会进行解压缩的,broker集群只会把消息发送到消费者集群,然后由消费者来解压缩。#生产者将消息发送到broker,有两种方式,一种是同步,表示生产者发送一条,broker就接收一条;#此时,如果消息的条数达到阀值,将会导致producer端阻塞或者消息被抛弃,默认为10000条消息。#还有一种是异步,表示生产者积累到一批的消息,装到一个池子里面缓存起来,再发送给broker,
2024-05-13 23:45:00 2429 1
原创 Linux 定时任务备份应用数据
定时任务cron job被用于安排那些需要被周期性执行的命令。利用它,你可以配置某些命令或者脚本,让它们在某个设定的时间内周期性地运行。cron 是 Linux 或者类 Unix 系统中最为实用的工具之一。cron 服务(守护进程)在系统后台运行,并且会持续地检查文件和目录。它同样也会检查目录。在 linux 平台上如果需要实现任务调度功能可以编写 cron 脚本来实现。以某一频率执行任务,linux 缺省会启动 crond 进程,crond 进程不需要用户启动、关闭。
2024-03-09 17:30:00 1945
原创 01-TypeScript 介绍
TS 官方文档TS 中文参考 - 不再维护TypeScript 是什么TypeScript 为什么要为 JS 添加类型支持?TypeScript 相比 JS 的优势。
2024-03-08 23:45:00 804
原创 ES数据库重建索引—Reindex详解
2、当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;1)用过Scroll接口吧,很慢?1、当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。2)每个Scroll请求,可以分成多个Slice请求,可以理解为切片,各Slice独立并行,利用Scroll重建或者遍历要快很多倍。3)如果这个slices数字很大(例如500),建议选择一个较低的数字,因为过大的slices 会影响性能。
2023-10-09 23:30:00 1741
原创 Ceph 分布式存储原理架构
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。FTP、NFS 服务器,为了克服块存储文件无法共享的问题,所以有了文件存储。b. 方便文件共享。
2023-10-09 23:15:00 249
转载 Elasticsearch 查询优化
正常情况下,单个查询会扫描所有分片,容易遇到长尾效应,且大量节点在空转,可利用ES路由能力,大幅提高查询吞吐、降低长尾。通过写入时支持指定routing ,ES 会计算 target_shard_id = hash(routing) 将写入数据路由到指定分片上,这样在查询时,也可以通过指定routing,快速定位到目前数据所在的分片,查询的效率能够提升一个数量级。通过这种方式,我们可以将一个超大的聚合分析需求,拆分成流式的聚合查询小任务,通过不断迭代,通过较低的内存,也能跑完海量数据的聚合分析任务。
2023-10-08 23:30:00 592
原创 Fabric8 管理k8s集群 Java API
上述代码中,我们使用DeploymentBuilder创建了一个Deployment对象,并使用createOrReplace方法将其创建或更新到集群中。一旦我们连接到了Kubernetes集群,我们可以使用io.fabric8.kubernetes-client来创建、更新和删除Kubernetes资源,例如部署、服务、Pod等。类似地,可以使用io.fabric8.kubernetes-client来创建和管理其他资源,例如Service、Pod、ConfigMap等。
2023-08-07 23:45:00 1494
原创 一致性哈希算法 consistent hashing
总结,一致性哈希算法也是使用取模的方法,只是,普通哈希取模法是对服务器的数量进行取模,而一致性哈希算法是对2^32取模。
2023-08-04 23:30:00 156
转载 PlantUML 语法之时序图
IDEA下载插件PlantUML,直接在IDEA里面编写UML,很方便;然后电脑再安装渲染引擎Gravizo,没有它,复杂的类图就无法渲染了;对了PlantUML插件,貌似不提供拖拽控件,这无所谓,就像真正的安卓高手,写布局,绝对不会是拖拽控件的,肯定是手写xml文件;如果看到这了,也不用挑了,PlantUML无比强大,颜值也不差,支持导出普通图片和矢量图,就选PlantUML。
2022-12-16 13:43:36 2048 2
转载 TIME_WAIT和CLOSE_WAIT状态区别
常用的三个状态是:ESTABLISHED 表示正在通信,TIME_WAIT 表示主动关闭,CLOSE_WAIT 表示被动关闭。
2022-10-21 23:30:00 706
原创 Docker容器整合wagon-ssh自动化部署SpringBoot工程
一、前提条件:机器上已经安装了docker(安装过程) 准备部署的springboot的jar包 Dockerfile文件 部署脚本deploy.sh 升级脚本upgrade.sh二、准备Dockerfile文件创建一个Dockerfile(在宿主机器任意位置)内容如下:vi DokckerfileFROM java:8ADDspringboot-webser-0.0.1-SNAPSHOT.jar app.jarENTRYPOINT ["java","-Djava.se
2022-10-07 23:31:00 839 2
原创 PostgreSQL数据库备份脚本
#!/bin/bash#操作类型,backup、restoretype=$1#造作数据库schema名dbname=$2#备份文件名,格式为:注册名_yyyyMMddHHmmss.sqlbackupFileName=$3#数据库所在服务器ipdbhost=$4#固定存储目录/home/backup/if [ ! -d "/home/backup/" ];then mkdir "/home/backup/"fibackupFile="/home/backup/"${ba...
2022-10-01 17:44:24 1502
原创 spring-expression表达式详解
Spring Expression Language(简称 SpEL)是一个支持查询和操作运行时对象的强大的表达式语言。贯穿着整个 Spring 产品组的语言。
2022-09-30 23:45:00 5490
原创 XXL-JOB分布式任务调度平台
XXL-JOB 是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
2022-07-26 23:45:00 754
转载 2万字详解,吃透 ES
之前已经分享过Elasticsearch的使用和原理的知识,由于近期在公司内部做了一次分享,所以本篇主要是基于之前的博文的一个总结,希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。...
2022-07-26 23:30:00 460
原创 SNMP(简单网络管理协议)详解
SNMP(简单网络管理协议):专门用于在 IP 网络管理网络节点(服务器、工作站、路由器、交换机及HUBS等)的一种标准协议,它是一种应用层协议。SNMP 使网络管理员能够管理网络效能,发现并解决网络问题以及规划网络增长。通过 SNMP 接收随机消息(及事件报告)网络管理系统获知网络出现问题。........................
2022-06-13 11:29:33 32000 2
原创 FAQ:报红--maven本地有jar包仍从从远端下载
方式一:删除 _remote.repositories 文件最近编译项目,发现有个模块总是遍不过,报无法download jar包。跑到maven配置的远端仓库,发现maven已不支持该jar包。但是本地确实存在,为什么要从远端再下嘞?不知道解决方法:将本地仓库中的*.jar包中的_remote.repositories文件(或者文件后缀是 lastUpdated 的文件删除),不再去远程下载。pom.xml文件文件更新,需要先删除—>更新—>重新引入—>再更新原因:就
2022-05-31 23:30:00 5768
转载 5GC architecture N1、N2、N3、N4、N6等接口
5GC architecture N1、N2、N3、N4、N6、N9、N26接口N1接口N1接口为UE和AMF间的信令面接口。N1是逻辑概念的接口,不存在物理口。N1接口基于N2接口信令实现。N2接口N2接口为(R)AN和AMF间的信令面接口。类似于4G中的s1-mme接口。N3接口N3接口是5G (R)AN(Radio Access Network )与UPF(User Plane Function)间的接口,主要用于传递5G (R)AN与UP.
2022-05-07 23:45:00 34331 1
转载 5GC 网元AMF、SMF、UPF、PCF、UDM等介绍
5GC 网元AMF、SMF、AUSF、UPF、PCF、UDM、NRF、NSSF、NEF介绍1、AMFAccess and Mobility Management Function,接入和移动性管理功能,执行注册、连接、可达性、移动性管理。为UE和SMF提供会话管理消息传输通道,为用户接入时提供认证、鉴权功能,终端和无线的核心网控制面接入点。类似于4G MME中移动性管理。AMF分配5G-GUTI,AMF选择SMF。2、SMFSession Management fun
2022-05-07 23:30:00 32019
原创 docker打包流程常用方式
完整的docker打包流程把外网服务器上的docker搬到内网使用时,报了两个错误,外网容器到tar包都没问题,在内网使用tar包的时候报了两个错误cannot connect to the Docker daemon at is the docker daemon running starting container process caused: "exec: "/bin/sh": stat /bin/sh: no such file or directory发现是tar包到镜像的问题
2022-03-31 23:30:00 6756
原创 postgresql查询表元数据信息语句
select tablename from pg_tables where schemaname = 'public' and tablename like '%_table' order by tablename
2022-02-22 15:46:40 1263
转载 wireshark抓包教程详解
wireshark抓包新手使用教程 Wireshark是非常流行的网络封包分析软件,可以截取各种网络数据包,并显示数据包详细信息。常用于开发测试过程各种问题定位。本文主要内容包括: 1、Wireshark软件下载和安装以及Wireshark主界面介绍。 2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。 3、Wireshark过滤器使用。过滤器包含两种类型,一种是抓包过滤器,就是抓取前设置过滤规则。另外一种是显示过滤器,就是在数据包分析时进行过...
2022-02-17 23:45:00 130342 10
原创 linux tcpdump抓包命令使用详解
一、抓包命令概述作用:(1)捕获网络协议包(2)分析网络协议包分类:(1)命令行工具,如tcpdump(2)图像界面工具,wireshark tcpdump是一个用于截取网络分组,并输出分组内容的工具。tcpdump凭借强大的功能和灵活的截取策略,使其成为类UNIX系统下用于网络分析和问题排查的首选工具。tcpdump存在于基本的Linux系统中,由于它需要将网络界面设置为混杂模式,普通用户不能正常执行,但具备root权限的用户可以直接执行它来获取网络上的信息。 ...
2022-02-17 23:30:00 2264
原创 Windows dos命令使用总结(持续更新)
1、windows如何通过CMD命令结束某个端口的进程:netstat -ano | findstr 端口号 tasklist | findstr 进程PID taskkill -PID 进程PID -F
2022-02-10 23:45:00 426
原创 linux进程kill命令关不掉
进程已经成为僵尸进程(Zombie),当它的父进程将它回收或将它的父进程kill掉即可在ps输出看不到了。("Zombie"进程要等到下次重启时才会消失,但它的存在不会影响系统性能。)进程正处在内核状态(kernel mode),Linux进程运行时分内核和用户两种状态,当进程进入内核状态后,会屏蔽所有信号,包括SIGKIL,所以这个时候kill -9也变得无效了。
2022-01-06 23:30:00 8321
原创 SpringBoot 异常后更改响应状态码
一、@RestControllerAdvice和@ExceptionHandler拦截异常package com.lxk.socket.collector.common;import com.lxk.base.bean.CommonResult;import com.lxk.base.exception.BusinessRuntimeException;import org.apache.commons.lang.exception.ExceptionUtils;import org.s..
2021-12-28 23:45:00 3371 6
原创 FAQ:sorry,too many clients already
报错如下:sorry, too many clients already解决办法:如果业务上需要增大客户端连接数,那么需要修改max_connections参数的配置打开Postgresql安装目录下的data文件夹,找到postgresql.auto.conf文件,添加下面这段话:max_connections = '800'...
2021-11-26 23:45:00 1509
转载 spring restTemplate超时设置
关于spring resttemplate超时设置Spring org.springframework.web.client.RestTemplate 使用 org.springframework.http.client.SimpleClientHttpRequestFactory建立 java.net.HttpURLConnection 后者采用 HttpURLConnection 的默认超时配置HttpURLConnection 超时属性ConnectTimeout(ms)a speci
2021-11-23 23:45:00 5993
原创 SpringBoot测试类
一、Spring Boot Test介绍Spring Test与JUnit等其他测试框架结合起来,提供了便捷高效的测试手段。而Spring Boot Test 是在Spring Test之上的再次封装,增加了切片测试,增强了mock能力。整体上,Spring Boot Test支持的测试种类,大致可以分为如下三类:单元测试:一般面向方法,编写一般业务代码时。涉及到的注解有@Test。 切片测试:一般面向难于测试的边界功能,介于单元测试和功能测试之间。涉及到的注解有@RunWith @WebMv
2021-11-18 23:45:00 19898
原创 Linux下查看某一进程占用的内存
一、ps -ef|grep flink 和top -p pid 组合Linux下查看某一个进程所占用的内存,首先可以通过ps命令找到进程id,比如:ps -ef|grep flink,可以看到flink task这个程序的进程id已知pid是8678,现在可以使用如下命令查看内存:这样可以动态实时的看到CPU和内存的占用率,然后按q键回到命令行二、直接命令查看 ps -aux|grep flink第一个标注的地方是CPU和内存占用率,后面的15 209 056是物理内...
2021-11-01 23:45:00 31984
原创 常用加密工具类
一、Md5Utilpackage com.lxk.webser.utils;import java.security.MessageDigest;/** * @create 2021/10/26 */public class Md5Util { private static String Md5Util(String s) { try { MessageDigest md = MessageDigest.getInstance("MD5")
2021-10-27 23:45:00 1033
原创 FLINK集成REDIS组件,使用异步IO能完全解决性能瓶颈问题?
基于上述的问题,我们先来对异步IO有个大致的认识,了解的同学可以选择跳过。流计算系统中经常需要与外部系统(Redis、MySQL等)进行交互,我们通常的做法如向数据库发送用户a的查询请求,然后等待结果返回,在这之前,我们的程序无法发送用户b的查询请求。这是一种同步访问方式,如下图所示。图中棕色的长条表示等待时间,可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题,异步模式可以并发地处理多个请求和回复。也就是说,你可以连续地向数据库发送用户a、b、c等的请求,与此同时,哪个请求的回
2021-10-24 22:09:10 1316
dbeaver-ee-latest-win32.win32.x86_64.zip
2019-10-23
03_storm.zip
2019-10-14
HBASE资料.zip
2019-09-08
MobaXterm.rar
2019-07-07
Kafka.zip.002
2019-06-12
Kafka.zip.001
2019-06-12
Kafka.zip.003
2019-06-12
Java8示例代码
2019-05-08
大数据之数据挖掘
2019-03-26
python爬虫资料
2019-03-01
scala学习文档
2019-02-24
大数据开发之内存计算
2019-02-17
scala学习资料
2019-02-17
Python电子书整理
2019-02-13
SVN入门教程
2018-03-11
前端框架、模板和手册
2018-02-06
离线计算系统
2018-02-05
activiti工作流代码示例
2018-01-02
Activiti教案和zip包
2018-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人