- 博客(62)
- 资源 (1)
- 收藏
- 关注
原创 通过springboot 同步pgsql数据到kafka 发送到logstash 再同步到es
安装 es下载安装包 es安装包地址kafka安装brew install kafka 安装的配置文件位置/usr/local/etc/kafka/server.properties/usr/local/etc/kafka/zookeeper.properties启动kafka运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zookeeper启动zookeeperzookee
2020-07-20 10:02:54 532
原创 stringbuffer和stringbuilder哪个效率高,应该使用哪个?
stringbuffer时线程安全的,因为他的append方法会有同步锁stringbuilder时线程不安全的单线程的时候使用stringbuilder在多线程的时候使用stringbuffer
2020-04-16 09:09:38 25303
原创 ELK分布式日志收集系统的搭建
ELK分布式日志收集系统的搭建filebeat+logstash+elasticsearch+kibana搭建一个分布式的日志收集系统
2020-03-30 14:44:48 23827
原创 Ubuntu 系统如何使用 root 用户登录实例?
原文地址(https://cloud.tencent.com/document/product/1207/44569#ubuntu-.E7.B3.BB.E7.BB.9F.E5.A6.82.E4.BD.95.E4.BD.BF.E7.94.A8-root-.E7.94.A8.E6.88.B7.E7.99.BB.E5.BD.95.E5.AE.9E.E4.BE.8B.EF.BC.9F)
2024-04-07 16:12:58 140
原创 linux 同步时间
linux 同步时间同步阿里时间 后面也可以跟ip地址ntpdate ntp1.aliyun.com定时同步时间0 12 * * * * /usr/sbin/ntpdate ntp1.aliyun.com
2021-12-29 10:30:11 662
原创 nginx代理静态页面
server { listen8991; server_name localhost; location / { root /home/opendata/web/dist; index index.html index.htm; } }
2021-12-20 11:02:38 3091
原创 linux 上redis-6.2.5安装教程
1 在 /usr/local/目录下载rediswget https://download.redis.io/releases/redis-6.2.5.tar.gz2 解压 tar xzf redis-6.2.5.tar.gz3 将redis移动到指定目录mv redis-6.2.5 /usr/local/redis4 编译 cd到/usr/local/redis目录,输入命令make执行编译命令,接下来控制台会输出各种编译过程中输出的内容make5 安装输入以下命令make P
2021-09-10 10:55:06 513
原创 scp和rsync命令
SCP命令(1)scp 定义scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法scp -r $pdir/$fname $user@$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称(3)基本示例scp -r jdk1.8.0_291/ root@hadoop103:opt/modulescp -r root@hadoop102:/opt/module/* root@h
2021-07-16 10:27:39 371
原创 centOS7 查看防火墙状态
centOS7 查看防火墙状态一、防火墙的开启、关闭、禁用命令(1)设置开机启用防火墙: systemctl enable firewalld.service(2)设置开机禁用防火墙: systemctl disable firewalld.service(3)启动防火墙: systemctl start firewalld(4)关闭防火墙: systemctl stop firewalld(5)检查防火墙状态: systemctl status firewalld ...
2021-06-21 09:42:25 404
原创 linux上nginx部署
cd /usr/locallocal下新建文件夹nginx :mkdir nginx(文件夹名)进入 nginx目录中:cd nginx第一步:下载nginx压缩包 wget -c https://nginx.org/download/nginx-1.21.0.tar.gz第二步:配置nginx安装所需的环境yum install gcc-c++yum install -y pcre pcre-develyum install -y zlib zlib-develyum insta
2021-06-11 10:47:15 267 1
原创 springboot 整合spring jpa neo4j
1添加pom文件依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-neo4j</artifactId></dependency>2.添加配置文件Neo4jConfigpackage com.govindex.web.core.config;import org.ne
2021-06-02 17:02:28 692 2
原创 springboot整合elasticsearch7.12.1
1. 引入Pom文件的依赖<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>7.12.1</version></dependency><dependency> <groupId>org.elasti
2021-06-02 16:38:33 1948
原创 neo4j 安装使用
Neo4J简介 知识图谱由于其数据包含实体、属性、关系等,常见的关系型数据库诸如MySQL之类不能很好的体现数据的这些特点,因此知识图谱数据的存储一般是采用图数据库(Graph Databases)。而Neo4j是其中最为常见的图数据库。Neo4J安装 首先在 https://neo4j.com/download-center/#community下载Neo4J。Neo4J分为社区版和企业版,企业版在横向扩展、权限控制、运行性能、HA等方面都比社区版好,适合正式的生产环境,普通的学习和开发采用
2021-06-01 09:42:04 110
原创 @Transactional 事务不生效原因
1.方法不是public的2.事务被try() catch{} 吃掉了3.数据库引擎不支持事务4.没有被 Spring 管理 类上面么有@service 或者@compent5. 自身调用的问题6. 数据源没有配置事务管理器@Transactional 实现原理: 1) 事务开始时,通过AOP机制,生成一个代理connection对象, 并将其放入 DataSource 实例的某个与 DataSourceTransactionManager 相关的某处容器中。 在接下来的整个事
2021-03-30 09:26:10 643
原创 elasticsearch 更新数据 (部分字段更新)
使用_update 进行部分字段更新操作//更新操作POST index/_update/id{ "doc": { "field":"data" }}//示列POST books/_update/001{ "doc": { "title":"三只松鼠" }}
2021-03-23 09:11:28 4245
原创 Redis相关知识点
Redis是怎么持久化的?服务主从数据怎么交互的?RDB做镜像全量持久化,AOF做增量持久化。因为RDB会耗费较长时间,不够实时,在停机的时候会导致大量丢失数据,所以需要AOF来配合使用。在redis实例重启时,会使用RDB持久化文件重新构建内存,再使用AOF重放近期的操作指令来实现完整恢复重启之前的状态。这里很好理解,把RDB理解为一整个表全量的数据,AOF理解为每次操作的日志就好了,服务器重启的时候先把表的数据全部搞进去,但是他可能不完整,你再回放一下日志,数据不就完整了嘛。不过Redis本身的机制
2021-03-22 10:07:12 80
原创 List,Set,Map集合的初始大小,加载因子,扩容倍数以及底层实现
Class 初始大小 加载因子 扩容倍数 底层实现ArrayList 10 1 1.5倍 Object数组Vector 10 1 2倍 Object数组HashSet 16 0.75f 2倍
2021-03-08 13:40:08 249
原创 类加载器以及双亲委派模型
系统提供了 3 种类加载器:1. 启动类加载器(Bootstrap ClassLoader):负责将存放在 <JAVA_HOME>\lib 目录中的,并 且能被虚拟机识别的(仅按照文件名识别,如 rt.jar,名字不符合的类库即使放在 lib 目录中 也不会被加载)类库加载到虚拟机内存中。2. 扩展类加载器(Extension ClassLoader):负责加载 <JAVA_HOME>\lib\ext 目录中的所有 类库,开发者可以直接使用扩展类加载器。3. 应用程序类加载
2021-03-08 09:24:35 202
原创 重入锁
重入锁:重进入是指任意线程在获取到锁之后,再次获取该锁而不会被该锁所阻塞。每个锁都关联了一个线程持有者和计数器。线程再次获取锁:锁需要识别获取锁的现场是否为当前占据锁的线程,如果是,则再次成功获取;释放锁时计数器自减,当计数器为0时,锁释放成功。其它线程请求该锁,则必须等待;而该持有锁的线程如果再次请求这个锁,就可以再次拿到这个锁。ReentrantLock 构造器的一个参数是 boolean 值,它选择想要一个 公平锁,还是不公平锁。公平锁使线程按照请求锁的顺序依次获得锁。TryLock():
2021-02-04 15:06:36 171
原创 分布式的缓存一致性问题
缓存如何使用引入缓存后,读操作会先去缓存中看下,如果没有命中缓存,才去读取数据库,然后把读取出来的数据再放到缓存中去,这样下一次读操作就可以命中缓存了,如果命中缓存,就可以直接把数据返回出去了。缓存数据一致性解决方案无论是双写模式还是失效模式,多个实例同时更新都会导致数据不一致问题;1、如果是用户纬度数据(订单数据、用户数据),这种并发几率非常小,不用考虑这个问题,缓存数据加上过期时间,每隔一段时间触发读的主动更新即可;2、如果是菜单,商品介绍等基础数据,也可以去使用canal订阅binlog的
2021-02-02 17:32:10 193
原创 Redis实现分布式锁的相关问题
为什么会出现分布式锁?使用分布式锁的目的,无外乎就是保证同一时间只有一个客户端可以对共享资源进行操作。引入分布式锁势必要引入一个第三方的基础设施,比如 MySQL,Redis,Zookeeper 等。这些实现分布式锁的基础设施出问题了,也会影响业务,所以在使用分布式锁前可以考虑下是否可以不用加锁的方式实现?不过这个不在本文的讨论范围内,本文假设加锁的需求是合理的,并且偏向于上面的第二种情况,为什么是偏向?因为不存在 100% 靠谱的分布式锁,看完下面的内容就明白了。redis单实例中实现分布式锁的
2021-02-01 16:07:06 106
原创 常见的 IO 模型有哪些?Java 中 BIO、NIO、AIO 的区别?
何为 I/O?I/O(Input/Outpu) 即输入/输出 。我们先从计算机结构的角度来解读一下 I/O。根据冯.诺依曼结构,计算机结构分为 5 大部分:运算器、控制器、存储器、输入设备、输出设备。输入设备(比如键盘)和输出设备(比如鼠标)都属于外部设备。网卡、硬盘这种既可以属于输入设备,也可以属于输出设备。输入设备向计算机输入数据,输出设备接收计算机输出的数据。从计算机结构的视角来看的话, I/O 描述了计算机系统与外部设备之间通信的过程。我们再先从应用程序的角度来解读一下 I/O。根
2021-01-27 10:37:42 415
原创 Flink 第一个小程序WordCount 运行测试
上传jar包到flink上在flink的安装包里有这个小程序的jar1.开启监听窗口nc -l 90012.上传jar包 并且配置参数3.submit提交4.查看结果
2021-01-26 15:08:49 227
原创 Flink 1.12.0搭建
下载flinkhttps://flink.apache.org/zh/downloads.html安装启动解压过后#启动./start-cluster.sh #停止./stop-cluster.sh 打卡http://localhost:8081/ 进入flink管理页面
2021-01-22 10:07:18 595
原创 nginx下转发请求
stream { # 添加socket转发的代理 upstream socket_proxy { hash $remote_addr consistent; # 转发的目的地址和端口 server 172.18.1.152:6443 weight=5 max_fails=3 fail_timeout=30s; } # 提供转发的服务,即访问localhost:9001,会跳转至代理socket_proxy指定的转发地址
2021-01-19 15:59:38 170
原创 es linux下启动
创建用户:useradd user-es授权:chown -R user-es:user-es /usr/local/elasticsearch-7.6.2切换到user-es 用户进入bin启动elasticsearchsu user-escd /usr/local/elasticsearch-7.6.2/bin./elasticsearch
2021-01-19 15:17:08 11134
分布式事务学习资料等
2020-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人