- 博客(703)
- 资源 (26)
- 收藏
- 关注
RSS订阅
原创 《Java8实战》汇总
相对于一般的线程池实现,fork/join框架的优势体现在对其中包含的任务的 处理方式上.在一般的线程池中,如果一个线程正在执行的任务由于某些原因 无法继续运行,那么该线程会处于等待状态.而在fork/join框架实现中,如果 某个子问题由于等待另外一个子问题的完成而无法继续运行.那么处理该子问题的线程会主动寻找其他尚未运行的子问题来执行.这种方式减少线程的等待时间,提高了性能.若一个接口中定义了一个默认方法，而另外一个父类或接口中 又定义了一个同名的方法时 选择父类中的方法。
2025-01-08 10:26:10
1206
原创 Google引爆大数据时代的三篇论文
Google三大理论（论文） 谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法...
2018-08-19 17:37:13
5927
3
原创 Linux使用总结（持续更新）
一、Linux 安装参考《02_Linux安装.docx》，目录bin (binaries)存放二进制可执行文件 sbin (super user binaries)存放二进制可执行文件，只有root才能访问 etc (etcetera)存放系统配置文件 usr (unix shared resources)用于存放共享的系统资源 home 存放用户文件的根目录 roo.........
2018-07-29 18:48:52
3699
2
原创 开窗函数 - first_value/last_value
select distinct a.date,a.name,first_value(date)over(partition by name order by date asc)as `每个人对应最早的date`select '张三'as name,'2021-04-11' as date。select '张三'as name,'2021-04-11' as date。select '张三'as name,'2021-04-11' as date。
2024-11-20 23:45:00
727
1
原创 Elasticsearch 中 Painless 脚本详解
ElasticStack在升级到5.0版本之后，带来了一种内置的新型脚本语言：painless。painless针对Elasticsearch的场景来进行优化，只做Elasticsearch数据的操作，更加轻量级，速度要快好几倍，并且支持Java静态类型，语法保持Groove类似，还支持Java的lambda表达式。painless脚本分为两种类型：inline script 和 stored script。前者仅仅写在api请求中，后者可以存储起来。如同sql和存储过程的区别。
2024-09-25 10:53:04
1062
原创 Redis和Mysql连接数过多问题排查及设置
ClientsCLIENT LIST 获取客户端列表CLIENT SETNAME 设置当前连接点 redis 的名称CLIENT GETNAME 查看当前连接的名称CLIENT KILL ip:port 杀死指定连接通过INFO命令可以获取更多关于连接状态的信息，包括通过不同协议和客户端类型建立的连接数。注意：INFO命令返回的是Redis服务器的状态信息，包括配置、性能指标等。连接信息位于"clients:"节中。
2024-07-24 23:45:00
831
原创 Docker容器内时区设置
在使用国外服务器 VPS 时，大家往往需要将服务器的时区改为国内的。但如果时区没有改好时，在启动相关服务经常会报错。导致两个文件的时区不一致。经过排查发现，只是把。
2024-07-24 23:30:00
307
原创 Docker 镜像导入导出
在 A 服务器上保存容器为镜像：首先停止运行的容器（如果有），然后使用。docker save -o <保存的文件路径> <镜像名称>docker commit <容器ID> <新镜像名称>docker load -i <镜像文件路径>docker stop <容器ID>命令将容器保存为镜像。命令将镜像保存为文件。将镜像保存为文件：使用。
2024-07-19 10:46:43
334
原创 Kafka的配置文件详解及优化
生产者把消息发送到broker之后，并且消息被写入到本地文件，才认为发送成功，这是第二种情况；#而broker集群是不会进行解压缩的，broker集群只会把消息发送到消费者集群，然后由消费者来解压缩。#生产者将消息发送到broker，有两种方式，一种是同步，表示生产者发送一条，broker就接收一条；#此时,如果消息的条数达到阀值,将会导致producer端阻塞或者消息被抛弃，默认为10000条消息。#还有一种是异步，表示生产者积累到一批的消息，装到一个池子里面缓存起来，再发送给broker，
2024-05-13 23:45:00
3254
1
原创 Linux 定时任务备份应用数据
定时任务cron job被用于安排那些需要被周期性执行的命令。利用它，你可以配置某些命令或者脚本，让它们在某个设定的时间内周期性地运行。cron 是 Linux 或者类 Unix 系统中最为实用的工具之一。cron 服务（守护进程）在系统后台运行，并且会持续地检查文件和目录。它同样也会检查目录。在 linux 平台上如果需要实现任务调度功能可以编写 cron 脚本来实现。以某一频率执行任务，linux 缺省会启动 crond 进程，crond 进程不需要用户启动、关闭。
2024-03-09 17:30:00
2178
原创 01-TypeScript 介绍
TS 官方文档TS 中文参考 - 不再维护TypeScript 是什么TypeScript 为什么要为 JS 添加类型支持?TypeScript 相比 JS 的优势。
2024-03-08 23:45:00
844
原创 ES数据库重建索引—Reindex详解
2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；1）用过Scroll接口吧，很慢？1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。2）每个Scroll请求，可以分成多个Slice请求，可以理解为切片，各Slice独立并行，利用Scroll重建或者遍历要快很多倍。3）如果这个slices数字很大(例如500)，建议选择一个较低的数字，因为过大的slices 会影响性能。
2023-10-09 23:30:00
2164
原创 Ceph 分布式存储原理架构
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。FTP、NFS 服务器，为了克服块存储文件无法共享的问题，所以有了文件存储。b. 方便文件共享。
2023-10-09 23:15:00
311
转载 Elasticsearch 查询优化
正常情况下，单个查询会扫描所有分片，容易遇到长尾效应，且大量节点在空转，可利用ES路由能力，大幅提高查询吞吐、降低长尾。通过写入时支持指定routing ，ES 会计算 target_shard_id = hash(routing) 将写入数据路由到指定分片上，这样在查询时，也可以通过指定routing，快速定位到目前数据所在的分片，查询的效率能够提升一个数量级。通过这种方式，我们可以将一个超大的聚合分析需求，拆分成流式的聚合查询小任务，通过不断迭代，通过较低的内存，也能跑完海量数据的聚合分析任务。
2023-10-08 23:30:00
761
原创 Fabric8 管理k8s集群 Java API
上述代码中，我们使用DeploymentBuilder创建了一个Deployment对象，并使用createOrReplace方法将其创建或更新到集群中。一旦我们连接到了Kubernetes集群，我们可以使用io.fabric8.kubernetes-client来创建、更新和删除Kubernetes资源，例如部署、服务、Pod等。类似地，可以使用io.fabric8.kubernetes-client来创建和管理其他资源，例如Service、Pod、ConfigMap等。
2023-08-07 23:45:00
1687
原创 一致性哈希算法 consistent hashing
总结，一致性哈希算法也是使用取模的方法，只是，普通哈希取模法是对服务器的数量进行取模，而一致性哈希算法是对2^32取模。
2023-08-04 23:30:00
206
转载 PlantUML 语法之时序图
IDEA下载插件PlantUML，直接在IDEA里面编写UML，很方便；然后电脑再安装渲染引擎Gravizo，没有它，复杂的类图就无法渲染了；对了PlantUML插件，貌似不提供拖拽控件，这无所谓，就像真正的安卓高手，写布局，绝对不会是拖拽控件的，肯定是手写xml文件；如果看到这了，也不用挑了，PlantUML无比强大，颜值也不差，支持导出普通图片和矢量图，就选PlantUML。
2022-12-16 13:43:36
2249
2
转载 TIME_WAIT和CLOSE_WAIT状态区别
常用的三个状态是：ESTABLISHED 表示正在通信，TIME_WAIT 表示主动关闭，CLOSE_WAIT 表示被动关闭。
2022-10-21 23:30:00
753
原创 Docker容器整合wagon-ssh自动化部署SpringBoot工程
一、前提条件：机器上已经安装了docker(安装过程) 准备部署的springboot的jar包 Dockerfile文件 部署脚本deploy.sh 升级脚本upgrade.sh二、准备Dockerfile文件创建一个Dockerfile(在宿主机器任意位置)内容如下：vi DokckerfileFROM java:8ADDspringboot-webser-0.0.1-SNAPSHOT.jar app.jarENTRYPOINT ["java","-Djava.se
2022-10-07 23:31:00
885
2
原创 PostgreSQL数据库备份脚本
#!/bin/bash#操作类型，backup、restoretype=$1#造作数据库schema名dbname=$2#备份文件名，格式为：注册名_yyyyMMddHHmmss.sqlbackupFileName=$3#数据库所在服务器ipdbhost=$4#固定存储目录/home/backup/if [ ! -d "/home/backup/" ];then mkdir "/home/backup/"fibackupFile="/home/backup/"${ba...
2022-10-01 17:44:24
1558
原创 spring-expression表达式详解
Spring Expression Language（简称 SpEL）是一个支持查询和操作运行时对象的强大的表达式语言。贯穿着整个 Spring 产品组的语言。
2022-09-30 23:45:00
5921
原创 XXL-JOB分布式任务调度平台
XXL-JOB 是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
2022-07-26 23:45:00
937
转载 2万字详解，吃透 ES
之前已经分享过Elasticsearch的使用和原理的知识，由于近期在公司内部做了一次分享，所以本篇主要是基于之前的博文的一个总结，希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。...
2022-07-26 23:30:00
491
原创 SNMP(简单网络管理协议)详解
SNMP(简单网络管理协议)：专门用于在 IP 网络管理网络节点（服务器、工作站、路由器、交换机及HUBS等）的一种标准协议，它是一种应用层协议。SNMP 使网络管理员能够管理网络效能，发现并解决网络问题以及规划网络增长。通过 SNMP 接收随机消息（及事件报告）网络管理系统获知网络出现问题。........................
2022-06-13 11:29:33
36095
2
原创 FAQ：报红--maven本地有jar包仍从从远端下载
方式一：删除 _remote.repositories 文件最近编译项目，发现有个模块总是遍不过，报无法download jar包。跑到maven配置的远端仓库，发现maven已不支持该jar包。但是本地确实存在，为什么要从远端再下嘞？不知道解决方法：将本地仓库中的*.jar包中的_remote.repositories文件（或者文件后缀是 lastUpdated 的文件删除），不再去远程下载。pom.xml文件文件更新，需要先删除—>更新—>重新引入—>再更新原因：就
2022-05-31 23:30:00
5858
转载 5GC architecture N1、N2、N3、N4、N6等接口
5GC architecture N1、N2、N3、N4、N6、N9、N26接口N1接口N1接口为UE和AMF间的信令面接口。N1是逻辑概念的接口，不存在物理口。N1接口基于N2接口信令实现。N2接口N2接口为(R)AN和AMF间的信令面接口。类似于4G中的s1-mme接口。N3接口N3接口是5G (R)AN（Radio Access Network ）与UPF（User Plane Function）间的接口，主要用于传递5G (R)AN与UP.
2022-05-07 23:45:00
37067
1
转载 5GC 网元AMF、SMF、UPF、PCF、UDM等介绍
5GC 网元AMF、SMF、AUSF、UPF、PCF、UDM、NRF、NSSF、NEF介绍1、AMFAccess and Mobility Management Function，接入和移动性管理功能，执行注册、连接、可达性、移动性管理。为UE和SMF提供会话管理消息传输通道，为用户接入时提供认证、鉴权功能，终端和无线的核心网控制面接入点。类似于4G MME中移动性管理。AMF分配5G-GUTI，AMF选择SMF。2、SMFSession Management fun
2022-05-07 23:30:00
33378
原创 docker打包流程常用方式
完整的docker打包流程把外网服务器上的docker搬到内网使用时，报了两个错误，外网容器到tar包都没问题，在内网使用tar包的时候报了两个错误cannot connect to the Docker daemon at is the docker daemon running starting container process caused: "exec: "/bin/sh": stat /bin/sh: no such file or directory发现是tar包到镜像的问题
2022-03-31 23:30:00
6785
原创 postgresql查询表元数据信息语句
select tablename from pg_tables where schemaname = 'public' and tablename like '%_table' order by tablename
2022-02-22 15:46:40
1299
转载 wireshark抓包教程详解
wireshark抓包新手使用教程 Wireshark是非常流行的网络封包分析软件，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程各种问题定位。本文主要内容包括： 1、Wireshark软件下载和安装以及Wireshark主界面介绍。 2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。 3、Wireshark过滤器使用。过滤器包含两种类型，一种是抓包过滤器，就是抓取前设置过滤规则。另外一种是显示过滤器，就是在数据包分析时进行过...
2022-02-17 23:45:00
141668
10
原创 linux tcpdump抓包命令使用详解
一、抓包命令概述作用：（1）捕获网络协议包（2）分析网络协议包分类：（1）命令行工具，如tcpdump（2）图像界面工具，wireshark tcpdump是一个用于截取网络分组，并输出分组内容的工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。 ...
2022-02-17 23:30:00
2316
原创 Windows dos命令使用总结（持续更新）
1、windows如何通过CMD命令结束某个端口的进程：netstat -ano | findstr 端口号 tasklist | findstr 进程PID taskkill -PID 进程PID -F
2022-02-10 23:45:00
442
原创 linux进程kill命令关不掉
进程已经成为僵尸进程（Zombie），当它的父进程将它回收或将它的父进程kill掉即可在ps输出看不到了。（"Zombie"进程要等到下次重启时才会消失，但它的存在不会影响系统性能。）进程正处在内核状态（kernel mode），Linux进程运行时分内核和用户两种状态，当进程进入内核状态后，会屏蔽所有信号，包括SIGKIL，所以这个时候kill -9也变得无效了。
2022-01-06 23:30:00
9115
原创 SpringBoot 异常后更改响应状态码
一、@RestControllerAdvice和@ExceptionHandler拦截异常package com.lxk.socket.collector.common;import com.lxk.base.bean.CommonResult;import com.lxk.base.exception.BusinessRuntimeException;import org.apache.commons.lang.exception.ExceptionUtils;import org.s..
2021-12-28 23:45:00
3483
6
原创 FAQ：sorry，too many clients already
报错如下：sorry, too many clients already解决办法：如果业务上需要增大客户端连接数，那么需要修改max_connections参数的配置打开Postgresql安装目录下的data文件夹，找到postgresql.auto.conf文件，添加下面这段话：max_connections = '800'...
2021-11-26 23:45:00
1612
转载 spring restTemplate超时设置
关于spring resttemplate超时设置Spring org.springframework.web.client.RestTemplate 使用 org.springframework.http.client.SimpleClientHttpRequestFactory建立 java.net.HttpURLConnection 后者采用 HttpURLConnection 的默认超时配置HttpURLConnection 超时属性ConnectTimeout(ms)a speci
2021-11-23 23:45:00
6158
原创 SpringBoot测试类
一、Spring Boot Test介绍Spring Test与JUnit等其他测试框架结合起来，提供了便捷高效的测试手段。而Spring Boot Test 是在Spring Test之上的再次封装，增加了切片测试，增强了mock能力。整体上，Spring Boot Test支持的测试种类，大致可以分为如下三类：单元测试：一般面向方法，编写一般业务代码时。涉及到的注解有@Test。 切片测试：一般面向难于测试的边界功能，介于单元测试和功能测试之间。涉及到的注解有@RunWith @WebMv
2021-11-18 23:45:00
20032
dbeaver-ee-latest-win32.win32.x86_64.zip
2019-10-23
03_storm.zip
2019-10-14
HBASE资料.zip
2019-09-08
MobaXterm.rar
2019-07-07
Kafka.zip.002
2019-06-12
Kafka.zip.001
2019-06-12
Kafka.zip.003
2019-06-12
Java8示例代码
2019-05-08
大数据之数据挖掘
2019-03-26
python爬虫资料
2019-03-01
scala学习文档
2019-02-24
大数据开发之内存计算
2019-02-17
scala学习资料
2019-02-17
Python电子书整理
2019-02-13
SVN入门教程
2018-03-11
前端框架、模板和手册
2018-02-06
离线计算系统
2018-02-05
activiti工作流代码示例
2018-01-02
Activiti教案和zip包
2018-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人