- 博客(20)
- 收藏
- 关注
RSS订阅原创 禅道bug同步到飞书
1.在飞书开发者后台开发一个可以给用户发送消息的应用，如果需要把消息同步到群组还需要开启一个群组机器人（很简单）2.查询禅道数据库，编辑消息发送给应用机器人或者群组机器人。
2022-11-04 18:05:16
2583
1
原创 Flink面试问题
文章目录1.Flink消息反压问题的定位与解决方法Flink如何保证精确一致性Flink的watermark和checkpoint1.Flink消息反压问题的定位与解决方法解释： 反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数
2022-03-06 00:00:00
300
原创 java面试问题
文章目录Queue的remove方法和poll方法的区别JVM的新生代和老年代CMS垃圾回收器（Concurrent Mark Sweep）G1垃圾回收器（Garbage-First）双亲委派机制（JDK1.2以后被提出）TreeMap和HashMap的区别接口和抽象类的区别Queue的remove方法和poll方法的区别queue的增加元素方法add和offer的区别在于，add方法在队列满的情况下将选择抛异常的方法来表示队列已经满了，而offer方法通过返回false表示队列已经满了；在有限队列的
2022-03-06 00:00:00
220
原创 Kafka面试问题
文章目录Kafka在Zookeeper中都存什么信息kafka工作流程Kafka的高效读写数据（为什么这么快）Kafka的数据积压（提升吞吐量）Kafka在Zookeeper中都存什么信息主要有/kafka/brokers/ids 记录有哪些服务器正常工作/kafka/brokers/topics/{topicName}/partitions/0/{“leader”:1,“isr”:[0,1,2]} 记录leader是谁，和isr信息/kafka/controller/{“brokerid”:0
2022-03-06 00:00:00
203
原创 离线安装ambari 更换spark版本 集成carbondate文档
1、Linux系统环境配置1.1 配置IP地址vim /etc/sysconfig/network-script/ifcfg-eth0“DEVICE”：网卡对应的设备别名，如ifcfg-eth0第一块网卡；“HWADDR”：网卡物理地址；“BOOTPROTO”：网卡获得ip地址的方式，Static（静态 ip地址）dhcp（通过dhcp协议获取ip）bootip通过boot...
2020-05-27 11:41:53
2818
原创 ansible-playbook+shell实现自动化部署ambari（纯离线）
文章目录一、业务场景二、选用技术三、准备四、服务器准备五、配置步骤1、配置网卡（所有节点）2、配置hosts映射（主节点）3、配置主节点到各个机器的ssh（主节点）4、安装ansible5、配置ansible的hosts（ansible使用的ip和定义主机组的映射）六、编写playbook七、附件-脚本1.closeTHP.sh2.modifyLimits.sh3.modifyNtpMaster.sh4.modifyNtpSlave.sh5.installJdk.sh6. closeSelinux.sh7.
2020-05-21 12:03:38
6496
3
原创 Linux安装mysql
1): 查看系统自带的Mariadb[root@test01 ~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_642): 卸载系统自带的Mariadb[root@test01 ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_643): 删除etc...
2020-04-27 15:47:47
1888
原创 Linux配置ntp时间服务器（全）
时间服务器作用：大数据产生与处理系统是各种计算设备集群的，计算设备将统一、同步的标准时间用于记录各种事件发生时序，如E-MAIL信息、文件创建和访问时间、数据库处理时间等。大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。大数据系统是对时间敏感的计算处理系统，时间同步是大数据能够得到正确处理的基础保障，是大数据...
2020-04-27 15:02:26
2759
1
原创 Linux修改主机名问题
记一次修改主机名不成功原因场景虽然使用hostname命令可以修改主机名，但如果重启主机之后主机名还会变为之前的，所以需要把修改的主机名称写到配置文件中假设修改后的主机名为“new_hostname”。1.修改配置文件“/etc/hostname”a. 执行以下命令，编辑配置文件“/etc/hostname”。sudo vim /etc/hostnameb. 修改配置文件，将文件中的...
2020-04-23 17:57:14
3390
原创 大数据运维之日志管理——ELK+beat搭建
1.场景在开发项目时，我们可能开发很多程序，或者使用很多sparktask处理数据等等，在多个服务器上产生很多文日志文件，在需要查看日志或者排错时，如果去服务器上查看会非常繁琐。2.组件E——ElasticSearchL——LogstashK——Kibana可以使用户Logstash直接监控日志文件，然后写入到ElasticSearch，但是由于我们需要编写Logstash中的filt...
2020-04-21 17:26:07
5394
原创 Centos7.6 安装
1.DATE & TIME（设置时区）：2:SOFTWARE SELECTION（选择安装软件）：因为服务器不能连接外网，所以这里安装了所有的软件，可以有网络可以选择最小安装3:INSTALLATION DESTINATION（添加系统分区）选择第一个添加标准分区1):添加/boot(系统盘分区 1G就可以)2) :添加swap(交换空间分区 建议为内存的2倍)3)...
2020-04-13 11:05:20
2239
原创 logstash http input和jdbc output
logstash配置文档解释input# 因为我这里是用spring boot转发的数据，所以这里选用的是http input插件 input { http{ #默认是0.0.0.0，即所有的地址都可以发送到本机，从而接收Http信息。 host => "0.0.0.0" # 是http插件中服务器运行的端口号。只...
2020-04-02 14:06:51
2230
原创 数据从https接口到mysql
数据从https接口到mysql数据流程HTTPS→Spring Boot→Logstash→Mysql→Spark→Mysql流程解释1. 使用spring boot项目请求https接口获取返回数据，并把数据转发到logstash监听的端口 使用spring boot实现转发的原因有两个 一、数据源https需要请求才能返回数据 二、没有ssl证书无法直接访问...
2020-03-31 14:05:18
2169
原创 prometheus监控mysql
一、安装prometheus系统1 、下载软件https://prometheus.io/download/2、安装prometheus软件上传Linux服务器(10.10.151.21)[root@landrover-21 ~]# /opt解压并安装软件# cd /opt# tar -xvf prometheus-2.16.0-rc.0.linux-amd64.tar....
2020-02-05 13:17:15
2211
原创 elasticsearch意外关机导致的一系列问题
1.启动服务器之后经常自己挂掉 启动服务之后总是无缘无故自己挂掉，查看es的日志 在es安装目录下的logs下查看报错内容发现报错为OOM，调大最大可占用内存 在config目录下的jvm.options中-Xmx和-Xms的大小注意：不能超过服务器50%2.启动程序读取es数据，程序报错，内容为没有可用的es节点 因为程序报错为没有可用的es节点，所以我第一时...
2020-01-13 17:57:12
3156
原创 linux查看cpu核内存的命令
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l或grep 'physical id' /proc/cpuinfo | sort -u | wc -l# 查看每个物...
2019-10-09 17:45:50
1811
原创 Jenkins+GitLab+maven自动构建部署
1.服务器中实现安装好jenkins、jdk和maven2.服务器输入jenkinsURL访问地址，进入UI页面3.选择左侧系统配置，然后进入全局工具配置 3.1配置JDK，点新增JDK 3.1.1JAVA_HOME写服务器上的（cat /etc/profile） 3.1.2给JDK起个别名（随便起，但...
2019-08-27 10:37:03
185
原创 Redis，Memcache，MongoDb的特点与区别
总结：Redis相比memcached有哪些优势？(1) memcached所有的值均是简单的字符串，redis作为其替代者，支持更为丰富的数据类型(2) redis的速度比memcached快很多(3) redis可以持久化数据(4)Redis支持数据的备份，即master-slave模式的数据备份。(5)、使用底层模型不同它们之间底层实现方式 以及与客户端之间...
2019-05-07 20:25:53
74
原创 HashSet和HashMap、Hashtable的区别
除开HashMap和Hashtable外，还有一个hash集合HashSet，有所区别的是HashSet不是key value结构，仅仅是存储不重复的元素，相当于简化版的HashMap，只是包含HashMap中的key而已通过查看源码也证实了这一点，HashSet内部就是使用HashMap实现，只不过HashSet里面的HashMap所有的value都是同一个Object而已，因此HashSe...
2019-05-04 13:11:54
96
原创 HashMap和Hashtable的区别
两者最主要的区别在于Hashtable是线程安全，而HashMap则非线程安全 Hashtable的实现方法里面都添加了synchronized关键字来确保线程同步，因此相对而言HashMap性能会高一些，我们平时使用时若无特殊需求建议使用HashMap，在多线程环境下若使用HashMap需要使用Collections.synchronizedMap()方法来获取一个线程安全的集合（Collec...
2019-05-04 13:10:40
240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人