- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 通过springboot 同步pgsql数据到kafka 发送到logstash 再同步到es
安装 es下载安装包 es安装包地址kafka安装brew install kafka 安装的配置文件位置/usr/local/etc/kafka/server.properties/usr/local/etc/kafka/zookeeper.properties启动kafka运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper启动zookeeperzookee
2020-07-20 10:02:54
516
原创 stringbuffer和stringbuilder哪个效率高,应该使用哪个？
stringbuffer时线程安全的，因为他的append方法会有同步锁stringbuilder时线程不安全的单线程的时候使用stringbuilder在多线程的时候使用stringbuffer
2020-04-16 09:09:38
25263
原创 ELK分布式日志收集系统的搭建
ELK分布式日志收集系统的搭建filebeat+logstash+elasticsearch+kibana搭建一个分布式的日志收集系统
2020-03-30 14:44:48
23821
原创 Ubuntu 系统如何使用 root 用户登录实例？
原文地址(https://cloud.tencent.com/document/product/1207/44569#ubuntu-.E7.B3.BB.E7.BB.9F.E5.A6.82.E4.BD.95.E4.BD.BF.E7.94.A8-root-.E7.94.A8.E6.88.B7.E7.99.BB.E5.BD.95.E5.AE.9E.E4.BE.8B.EF.BC.9F)
2024-04-07 16:12:58
135
原创 linux 同步时间
linux 同步时间同步阿里时间 后面也可以跟ip地址ntpdate ntp1.aliyun.com定时同步时间0 12 * * * * /usr/sbin/ntpdate ntp1.aliyun.com
2021-12-29 10:30:11
647
原创 nginx代理静态页面
server { listen8991; server_name localhost; location / { root /home/opendata/web/dist; index index.html index.htm; } }
2021-12-20 11:02:38
3057
原创 linux 上redis-6.2.5安装教程
1 在 /usr/local/目录下载rediswget https://download.redis.io/releases/redis-6.2.5.tar.gz2 解压 tar xzf redis-6.2.5.tar.gz3 将redis移动到指定目录mv redis-6.2.5 /usr/local/redis4 编译 cd到/usr/local/redis目录，输入命令make执行编译命令，接下来控制台会输出各种编译过程中输出的内容make5 安装输入以下命令make P
2021-09-10 10:55:06
502
原创 scp和rsync命令
SCP命令（1）scp 定义scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法scp -r $pdir/$fname $user@$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称（3）基本示例scp -r jdk1.8.0_291/ root@hadoop103:opt/modulescp -r root@hadoop102:/opt/module/* root@h
2021-07-16 10:27:39
349
原创 centOS7 查看防火墙状态
centOS7 查看防火墙状态一、防火墙的开启、关闭、禁用命令（1）设置开机启用防火墙： systemctl enable firewalld.service（2）设置开机禁用防火墙： systemctl disable firewalld.service（3）启动防火墙： systemctl start firewalld（4）关闭防火墙： systemctl stop firewalld（5）检查防火墙状态： systemctl status firewalld ...
2021-06-21 09:42:25
396
原创 linux上nginx部署
cd /usr/locallocal下新建文件夹nginx ：mkdir nginx（文件夹名）进入 nginx目录中：cd nginx第一步：下载nginx压缩包 wget -c https://nginx.org/download/nginx-1.21.0.tar.gz第二步：配置nginx安装所需的环境yum install gcc-c++yum install -y pcre pcre-develyum install -y zlib zlib-develyum insta
2021-06-11 10:47:15
261
1
原创 springboot 整合spring jpa neo4j
1添加pom文件依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-neo4j</artifactId></dependency>2.添加配置文件Neo4jConfigpackage com.govindex.web.core.config;import org.ne
2021-06-02 17:02:28
673
2
原创 springboot整合elasticsearch7.12.1
1. 引入Pom文件的依赖<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>7.12.1</version></dependency><dependency> <groupId>org.elasti
2021-06-02 16:38:33
1890
原创 neo4j 安装使用
Neo4J简介 知识图谱由于其数据包含实体、属性、关系等，常见的关系型数据库诸如MySQL之类不能很好的体现数据的这些特点，因此知识图谱数据的存储一般是采用图数据库（Graph Databases）。而Neo4j是其中最为常见的图数据库。Neo4J安装 首先在 https://neo4j.com/download-center/#community下载Neo4J。Neo4J分为社区版和企业版，企业版在横向扩展、权限控制、运行性能、HA等方面都比社区版好，适合正式的生产环境，普通的学习和开发采用
2021-06-01 09:42:04
106
原创 @Transactional 事务不生效原因
1.方法不是public的2.事务被try() catch{} 吃掉了3.数据库引擎不支持事务4.没有被 Spring 管理 类上面么有@service 或者@compent5. 自身调用的问题6. 数据源没有配置事务管理器@Transactional 实现原理： 1) 事务开始时，通过AOP机制，生成一个代理connection对象， 并将其放入 DataSource 实例的某个与 DataSourceTransactionManager 相关的某处容器中。 在接下来的整个事
2021-03-30 09:26:10
628
原创 elasticsearch 更新数据 （部分字段更新）
使用_update 进行部分字段更新操作//更新操作POST index/_update/id{ "doc": { "field":"data" }}//示列POST books/_update/001{ "doc": { "title":"三只松鼠" }}
2021-03-23 09:11:28
3983
原创 Redis相关知识点
Redis是怎么持久化的？服务主从数据怎么交互的？RDB做镜像全量持久化，AOF做增量持久化。因为RDB会耗费较长时间，不够实时，在停机的时候会导致大量丢失数据，所以需要AOF来配合使用。在redis实例重启时，会使用RDB持久化文件重新构建内存，再使用AOF重放近期的操作指令来实现完整恢复重启之前的状态。这里很好理解，把RDB理解为一整个表全量的数据，AOF理解为每次操作的日志就好了，服务器重启的时候先把表的数据全部搞进去，但是他可能不完整，你再回放一下日志，数据不就完整了嘛。不过Redis本身的机制
2021-03-22 10:07:12
80
原创 List,Set,Map集合的初始大小,加载因子,扩容倍数以及底层实现
Class 初始大小 加载因子 扩容倍数 底层实现ArrayList 10 1 1.5倍 Object数组Vector 10 1 2倍 Object数组HashSet 16 0.75f 2倍
2021-03-08 13:40:08
244
原创 类加载器以及双亲委派模型
系统提供了 3 种类加载器:1. 启动类加载器(Bootstrap ClassLoader):负责将存放在 <JAVA_HOME>\lib 目录中的，并 且能被虚拟机识别的(仅按照文件名识别，如 rt.jar，名字不符合的类库即使放在 lib 目录中 也不会被加载)类库加载到虚拟机内存中。2. 扩展类加载器(Extension ClassLoader):负责加载 <JAVA_HOME>\lib\ext 目录中的所有 类库，开发者可以直接使用扩展类加载器。3. 应用程序类加载
2021-03-08 09:24:35
197
原创 重入锁
重入锁：重进入是指任意线程在获取到锁之后，再次获取该锁而不会被该锁所阻塞。每个锁都关联了一个线程持有者和计数器。线程再次获取锁：锁需要识别获取锁的现场是否为当前占据锁的线程，如果是，则再次成功获取；释放锁时计数器自减，当计数器为0时，锁释放成功。其它线程请求该锁，则必须等待；而该持有锁的线程如果再次请求这个锁，就可以再次拿到这个锁。ReentrantLock 构造器的一个参数是 boolean 值，它选择想要一个 公平锁，还是不公平锁。公平锁使线程按照请求锁的顺序依次获得锁。TryLock()：
2021-02-04 15:06:36
166
原创 分布式的缓存一致性问题
缓存如何使用引入缓存后，读操作会先去缓存中看下，如果没有命中缓存，才去读取数据库，然后把读取出来的数据再放到缓存中去，这样下一次读操作就可以命中缓存了，如果命中缓存，就可以直接把数据返回出去了。缓存数据一致性解决方案无论是双写模式还是失效模式，多个实例同时更新都会导致数据不一致问题；1、如果是用户纬度数据（订单数据、用户数据），这种并发几率非常小，不用考虑这个问题，缓存数据加上过期时间，每隔一段时间触发读的主动更新即可；2、如果是菜单，商品介绍等基础数据，也可以去使用canal订阅binlog的
2021-02-02 17:32:10
189
原创 Redis实现分布式锁的相关问题
为什么会出现分布式锁？使用分布式锁的目的，无外乎就是保证同一时间只有一个客户端可以对共享资源进行操作。引入分布式锁势必要引入一个第三方的基础设施，比如 MySQL，Redis，Zookeeper 等。这些实现分布式锁的基础设施出问题了，也会影响业务，所以在使用分布式锁前可以考虑下是否可以不用加锁的方式实现？不过这个不在本文的讨论范围内，本文假设加锁的需求是合理的，并且偏向于上面的第二种情况，为什么是偏向？因为不存在 100% 靠谱的分布式锁，看完下面的内容就明白了。redis单实例中实现分布式锁的
2021-02-01 16:07:06
99
原创 常见的 IO 模型有哪些？Java 中 BIO、NIO、AIO 的区别？
何为 I/O?I/O（Input/Outpu） 即输入／输出 。我们先从计算机结构的角度来解读一下 I/O。根据冯.诺依曼结构，计算机结构分为 5 大部分：运算器、控制器、存储器、输入设备、输出设备。输入设备（比如键盘）和输出设备（比如鼠标）都属于外部设备。网卡、硬盘这种既可以属于输入设备，也可以属于输出设备。输入设备向计算机输入数据，输出设备接收计算机输出的数据。从计算机结构的视角来看的话， I/O 描述了计算机系统与外部设备之间通信的过程。我们再先从应用程序的角度来解读一下 I/O。根
2021-01-27 10:37:42
407
原创 Flink 第一个小程序WordCount 运行测试
上传jar包到flink上在flink的安装包里有这个小程序的jar1.开启监听窗口nc -l 90012.上传jar包 并且配置参数3.submit提交4.查看结果
2021-01-26 15:08:49
222
原创 Flink 1.12.0搭建
下载flinkhttps://flink.apache.org/zh/downloads.html安装启动解压过后#启动./start-cluster.sh #停止./stop-cluster.sh 打卡http://localhost:8081/ 进入flink管理页面
2021-01-22 10:07:18
585
原创 nginx下转发请求
stream { # 添加socket转发的代理 upstream socket_proxy { hash $remote_addr consistent; # 转发的目的地址和端口 server 172.18.1.152:6443 weight=5 max_fails=3 fail_timeout=30s; } # 提供转发的服务，即访问localhost:9001，会跳转至代理socket_proxy指定的转发地址
2021-01-19 15:59:38
166
原创 es linux下启动
创建用户：useradd user-es授权：chown -R user-es:user-es /usr/local/elasticsearch-7.6.2切换到user-es 用户进入bin启动elasticsearchsu user-escd /usr/local/elasticsearch-7.6.2/bin./elasticsearch
2021-01-19 15:17:08
11002
分布式事务学习资料等
2020-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人