- 博客(23)
- 收藏
- 关注
RSS订阅原创 记录：Flink checkpoint 过期导致失败（线上问题）
报错信息：2021-08-18 18:28:40,502 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Triggering checkpoint 1 (type=CHECKPOINT) @ 1629282520408 for job 1cba827ad8a8d68521605157b77a6191.2021-08-18 18:38:40,502 INFO org.apache.flink.runti
2021-08-19 18:00:53
2336
原创 记录：Flink 的日志写入KafkaAppender（带kerberos认证下）
1.Flink on yarn 的模式下，利用 log4j(log4j2) KafkaAppender 把日志直接打到 kafka（无kerberos认证）在 Flink 1.11.0 之前 Flink 使用的日志是 Log4j. 在 1.11.0 之后使用的是 Log4j2. 这两者的配置稍有不同：log4j 配置 (Flink 1.11.0 之前)#KafkaLog4jAppender 可能需要导入相关jar包log4j.appender.kafka=or...
2021-08-18 14:08:21
1628
1
原创 HashMap 详解
一、数据结构1、HashMap是Java中最常用的集合类框架，也是Java语言中非常典型的数据结构，2、数组特点存储区间是连续，且占用内存严重，空间复杂也很大，时间复杂为O（1）。优点：是随机读取效率很高，原因数组是连续（随机访问性强，查找速度快）。缺点：插入和删除数据效率低，因插入数据，这个位置后面的数据在内存中要往后移的，且大小固定不易动态扩展。3、链表特点区间离散，占用内存宽松，空间复杂度小，时间复杂度O(N)。优点：插入删除速度快，内存利用率高，没有大小固定，扩...
2021-06-10 23:03:58
95457
8
转载 Mac+Docker+K8S本地搭建K8S集群（简单）
1、 安装 Docker for Desktop 安装K8s 建议采用阿里云的k8s-for-docker-desktop，同时可以解决经常遇到的Docker for Desktop中K8S一直卡在starting状态 git clone https://github.com/AliyunContainerService/k8s-for-docker-desktop.git cd k8s-for-docker-desktop // 执行脚本安装K8S相关镜像（确认k8s-f
2021-05-22 21:23:18
1239
原创 JVM 垃圾回收（1.7/1.8）的一点笔记（面试必备）
1.如何识别垃圾：（1）引用计数法 引用计数法就是通过引用来识别无用对象。我们记录每一个对象的引用个数，若有新的变量引用一个对象时，这个对象的引用个数加1；若一个引用失效时，引用的个数减1，而引用个数为0的对象，即可作为垃圾被回收。这里要注意，若这些垃圾对象的成员变量引用了其他对象，则当垃圾对象被释放时，它的这个引用自然就失效了。 这个算法实现简单，效率也高，但是，它并没有被用在主流的Java虚拟机中，因为它有一个很大的缺陷——很难解决循环引用的问题。Java中的垃圾回收...
2021-05-20 15:40:35
297
原创 MYSQL重置密码（忘记密码）-64位 windows10，
操作步骤如下：1.以管理员身份打开命令窗口cmd，输入命令：net stop mysql，停止MySQL服务，然后输入命令 mysqld --console --skip-grant-tables --shared-memory （开启跳过密码验证登录的MySQL服务） 2.再打开一个新的cmd，无密码登录MySQL，输入登录命令：mysql -u root -p ，然后连续两次 回车。 3.密码置为空，命令如下： use m...
2021-05-20 11:17:36
104
转载 hive数据倾斜优化
1、什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点2、主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。3、容易数据倾斜情况4、产生数...
2018-10-16 20:20:58
366
转载 RabbitMQ和Kafka从几个角度简单的对比
在应用场景方面：RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。1)在架构模型方面，RabbitMQ遵循AMQP协议，RabbitMQ的broker由Exchange,Binding,queu...
2018-09-11 21:11:17
128
转载 MySQL索引背后的数据结构及算法原理
摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第...
2018-09-06 23:59:10
133
原创 数据库的主从模式以及双机热备
主从结构搭建配置主服务器(云主机4)编辑主master服务器配置文件/etc/my.cnf#vim /etc/my.cnf在[mysqld]节点下加入两句话server-id=1 当前数据库在集群中的id值log-bin=mysql-bin #启用二进制日志；key值的名字不能变,value表示你定义的二进制文件的名字.可以自定义完成了二进制文件...
2018-08-03 14:04:15
8633
转载 本地git和远程github连接完整教程
一、注册账户以及创建仓库 要想使用github第一步当然是注册github账号了。之后就可以创建仓库了（免费用户只能建公共仓库），Create a New Repository，填好名称后Create，之后会出现一些仓库的配置信息，这也是一个git的简单教程。步骤如下： 1、打开https://github.com 直接在首页上注册2、点按钮注册成功之后，在页面上方用户菜单上选...
2018-08-02 15:30:29
687
转载 两种方法上传本地文件到github
自从使用github以来，一直都是在github网站在线上传文件到仓库中，但是有时因为网络或者电脑的原因上传失败。最重要的原因是我习惯本地编辑，完成以后再一起上传github。看过了几个教程，总结出最适合自己的比较简单的方法。两种方法上传本地文件到github1. github在线上传文件夹在线上传也可以上传完整的文件夹结构，直接拖拽到上传文件页面的框中即可。1.1点击上传文件...
2018-08-02 15:25:31
94
原创 安装mysql启动常见问题
常见问题:1. PID file could not be foundmysql无法启动 ERROR! MySQL is running but PID file could not be found ?Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' 解决办法:ps...
2018-07-16 23:34:14
322
原创 数据库的主从模式搭建
结构：云主机1,云主机2; 1为主节点;2为从节点;主从结构搭建：配置主服务器(云主机1)：编辑主master服务器配置文件/etc/my.cnf#vim /etc/my.cnf在[mysqld]节点下加入两句话：server-id=1 #当前数据库在集群中的id值log-bin=mysql-bin #启用二进制日志;key值的名字不能变,value表示...
2018-07-16 23:22:21
4040
原创 MYSQL:Access denied for user 'root'@'localhost' (using password:YES)解决方法
1.打开MySQL目录下的my.ini文件，在文件的最后添加一行“skip-grant-tables”，保存并关闭文件;2.重启MySQL服务;3.通过cmd行进入MySQL的bin目录，输入“mysql -u root -p”(不输入密码)，回车即可进入数据库;4.执行“use mysql;”，使用mysql数据库;5.执行update mysql.user set authen...
2018-07-16 23:00:12
227
转载 MySQL主从复制
MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践Mysql作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中，由单台Mysql作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。因此，一般来说都是通过 主从复制（Master-Slave）的方式来同步数据，再通过读写分...
2018-07-16 22:49:00
74
转载 Kafka史上最详细原理总结
KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Link...
2018-07-11 22:47:06
216
转载 Linux虚拟机安装redis
1、检查安装依赖程序yum install gcc-c++yum install -y tclyum install wget2、获取安装文件wget http://download.redis.io/releases/redis-4.0.6.tar.gz目前最新版本redis-4.0.6.tar.gz3、解压文件 自己新建一个目录将redis解压到里面tar -zxvf redis...
2018-07-11 20:27:47
390
转载 Java线程面试题 Top 50
不管你是新程序员还是老手，你一定在面试中遇到过有关线程的问题。Java语言一个重要的特点就是内置了对并发的支持，让Java大受企业和程序员的欢迎。大多数待遇丰厚的Java开发职位都要求开发者精通多线程技术并且有丰富的Java程序开发、调试、优化经验，所以线程相关的问题在面试中经常会被提到。在典型的Java面试中， 面试官会从线程的基本概念问起, 如：为什么你需要使用线程， 如何创建线程，用什么方式...
2018-05-06 21:48:22
129
转载 SpringMVC注解说明
@controller通过@controller标注即可将class定义为一个controller类。@RequestMappingvalue表示需要匹配的url的格式。method表示所需处理请求的http 协议(如get,post,put,delete等)，可选值为RequestMethod这个enum的值。param
2017-01-23 17:47:25
145
转载 web工程中web.xml元素加载顺序以及配置实例
简介web.xml是web工程的配置文件，容器加载web工程时，会首先从WEB-INF中查询web.xml，并加载其中的配置信息，可以将web.xml认为是web工程的入口。web.xml中包含有welcome欢迎页面、servlet、servlet-mapping、filter、listener和启动加载级别等。web.xml加载顺序容器读取工程的配置文件web.
2017-01-23 17:43:52
165
转载 Spring3 MVC 注解（一）---注解基本配置及@controller和 @RequestMapping 常用解释
一：配置web.xml 1)问题：spring项目中有多个配置文件mvc.xml dao.xml 2）解决：在web.xml中 contextConfigLocation /WEB-INF/xxx/*.xml xxx表示xml文件
2017-01-20 14:36:51
309
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人