- 博客(23)
- 收藏
- 关注
原创 记录:Flink checkpoint 过期导致失败(线上问题)
报错信息:2021-08-18 18:28:40,502 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Triggering checkpoint 1 (type=CHECKPOINT) @ 1629282520408 for job 1cba827ad8a8d68521605157b77a6191.2021-08-18 18:38:40,502 INFO org.apache.flink.runti
2021-08-19 18:00:53
2377
原创 记录:Flink 的日志写入KafkaAppender(带kerberos认证下)
1.Flink on yarn 的模式下,利用 log4j(log4j2) KafkaAppender 把日志直接打到 kafka(无kerberos认证)在 Flink 1.11.0 之前 Flink 使用的日志是 Log4j. 在 1.11.0 之后使用的是 Log4j2. 这两者的配置稍有不同:log4j 配置 (Flink 1.11.0 之前)#KafkaLog4jAppender 可能需要导入相关jar包log4j.appender.kafka=or...
2021-08-18 14:08:21
1649
1
原创 HashMap 详解
一、数据结构1、HashMap是Java中最常用的集合类框架,也是Java语言中非常典型的数据结构,2、数组特点存储区间是连续,且占用内存严重,空间复杂也很大,时间复杂为O(1)。优点:是随机读取效率很高,原因数组是连续(随机访问性强,查找速度快)。缺点:插入和删除数据效率低,因插入数据,这个位置后面的数据在内存中要往后移的,且大小固定不易动态扩展。3、链表特点区间离散,占用内存宽松,空间复杂度小,时间复杂度O(N)。优点:插入删除速度快,内存利用率高,没有大小固定,扩...
2021-06-10 23:03:58
96403
8
转载 Mac+Docker+K8S本地搭建K8S集群(简单)
1、 安装 Docker for Desktop 安装K8s 建议采用阿里云的k8s-for-docker-desktop,同时可以解决经常遇到的Docker for Desktop中K8S一直卡在starting状态 git clone https://github.com/AliyunContainerService/k8s-for-docker-desktop.git cd k8s-for-docker-desktop // 执行脚本安装K8S相关镜像(确认k8s-f
2021-05-22 21:23:18
1242
原创 JVM 垃圾回收(1.7/1.8)的一点笔记(面试必备)
1.如何识别垃圾:(1)引用计数法 引用计数法就是通过引用来识别无用对象。我们记录每一个对象的引用个数,若有新的变量引用一个对象时,这个对象的引用个数加1;若一个引用失效时,引用的个数减1,而引用个数为0的对象,即可作为垃圾被回收。这里要注意,若这些垃圾对象的成员变量引用了其他对象,则当垃圾对象被释放时,它的这个引用自然就失效了。 这个算法实现简单,效率也高,但是,它并没有被用在主流的Java虚拟机中,因为它有一个很大的缺陷——很难解决循环引用的问题。Java中的垃圾回收...
2021-05-20 15:40:35
313
原创 MYSQL重置密码(忘记密码)-64位 windows10,
操作步骤如下:1.以管理员身份打开命令窗口cmd,输入命令:net stop mysql,停止MySQL服务,然后输入命令 mysqld --console --skip-grant-tables --shared-memory (开启跳过密码验证登录的MySQL服务) 2.再打开一个新的cmd,无密码登录MySQL,输入登录命令:mysql -u root -p ,然后连续两次 回车。 3.密码置为空,命令如下: use m...
2021-05-20 11:17:36
109
转载 hive数据倾斜优化
1、什么是数据倾斜?由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点2、主要表现:任务进度长时间维持在 99%或者 100%的附近,查看任务监控页面,发现只有少量 reduce子任务未完成,因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大,通常达到好几倍之多,最长时间远大于平均时长。3、容易数据倾斜情况4、产生数...
2018-10-16 20:20:58
370
转载 RabbitMQ和Kafka从几个角度简单的对比
在应用场景方面:RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上。kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。1)在架构模型方面,RabbitMQ遵循AMQP协议,RabbitMQ的broker由Exchange,Binding,queu...
2018-09-11 21:11:17
131
转载 MySQL索引背后的数据结构及算法原理
摘要本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第...
2018-09-06 23:59:10
135
原创 数据库的主从模式以及双机热备
主从结构搭建配置主服务器(云主机4)编辑主master服务器配置文件/etc/my.cnf#vim /etc/my.cnf在[mysqld]节点下加入两句话server-id=1 当前数据库在集群中的id值log-bin=mysql-bin #启用二进制日志;key值的名字不能变,value表示你定义的二进制文件的名字.可以自定义完成了二进制文件...
2018-08-03 14:04:15
8648
转载 本地git和远程github连接完整教程
一、注册账户以及创建仓库 要想使用github第一步当然是注册github账号了。之后就可以创建仓库了(免费用户只能建公共仓库),Create a New Repository,填好名称后Create,之后会出现一些仓库的配置信息,这也是一个git的简单教程。步骤如下: 1、打开https://github.com 直接在首页上注册2、点按钮注册成功之后,在页面上方用户菜单上选...
2018-08-02 15:30:29
691
转载 两种方法上传本地文件到github
自从使用github以来,一直都是在github网站在线上传文件到仓库中,但是有时因为网络或者电脑的原因上传失败。最重要的原因是我习惯本地编辑,完成以后再一起上传github。看过了几个教程,总结出最适合自己的比较简单的方法。两种方法上传本地文件到github1. github在线上传文件夹在线上传也可以上传完整的文件夹结构,直接拖拽到上传文件页面的框中即可。1.1点击上传文件...
2018-08-02 15:25:31
95
原创 安装mysql启动常见问题
常见问题:1. PID file could not be foundmysql无法启动 ERROR! MySQL is running but PID file could not be found ?Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' 解决办法:ps...
2018-07-16 23:34:14
330
原创 数据库的主从模式搭建
结构:云主机1,云主机2; 1为主节点;2为从节点;主从结构搭建:配置主服务器(云主机1):编辑主master服务器配置文件/etc/my.cnf#vim /etc/my.cnf在[mysqld]节点下加入两句话:server-id=1 #当前数据库在集群中的id值log-bin=mysql-bin #启用二进制日志;key值的名字不能变,value表示...
2018-07-16 23:22:21
4044
原创 MYSQL:Access denied for user 'root'@'localhost' (using password:YES)解决方法
1.打开MySQL目录下的my.ini文件,在文件的最后添加一行“skip-grant-tables”,保存并关闭文件;2.重启MySQL服务;3.通过cmd行进入MySQL的bin目录,输入“mysql -u root -p”(不输入密码),回车即可进入数据库;4.执行“use mysql;”,使用mysql数据库;5.执行update mysql.user set authen...
2018-07-16 23:00:12
230
转载 MySQL主从复制
MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分...
2018-07-16 22:49:00
77
转载 Kafka史上最详细原理总结
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Link...
2018-07-11 22:47:06
221
转载 Linux虚拟机安装redis
1、检查安装依赖程序yum install gcc-c++yum install -y tclyum install wget2、获取安装文件wget http://download.redis.io/releases/redis-4.0.6.tar.gz目前最新版本redis-4.0.6.tar.gz3、解压文件 自己新建一个目录将redis解压到里面tar -zxvf redis...
2018-07-11 20:27:47
393
转载 Java线程面试题 Top 50
不管你是新程序员还是老手,你一定在面试中遇到过有关线程的问题。Java语言一个重要的特点就是内置了对并发的支持,让Java大受企业和程序员的欢迎。大多数待遇丰厚的Java开发职位都要求开发者精通多线程技术并且有丰富的Java程序开发、调试、优化经验,所以线程相关的问题在面试中经常会被提到。在典型的Java面试中, 面试官会从线程的基本概念问起, 如:为什么你需要使用线程, 如何创建线程,用什么方式...
2018-05-06 21:48:22
132
转载 SpringMVC注解说明
@controller通过@controller标注即可将class定义为一个controller类。@RequestMappingvalue表示需要匹配的url的格式。method表示所需处理请求的http 协议(如get,post,put,delete等),可选值为RequestMethod这个enum的值。param
2017-01-23 17:47:25
148
转载 web工程中web.xml元素加载顺序以及配置实例
简介web.xml是web工程的配置文件,容器加载web工程时,会首先从WEB-INF中查询web.xml,并加载其中的配置信息,可以将web.xml认为是web工程的入口。web.xml中包含有welcome欢迎页面、servlet、servlet-mapping、filter、listener和启动加载级别等。web.xml加载顺序容器读取工程的配置文件web.
2017-01-23 17:43:52
168
转载 Spring3 MVC 注解(一)---注解基本配置及@controller和 @RequestMapping 常用解释
一:配置web.xml 1)问题:spring项目中有多个配置文件mvc.xml dao.xml 2)解决:在web.xml中 contextConfigLocation /WEB-INF/xxx/*.xml xxx表示xml文件
2017-01-20 14:36:51
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人