测试&部署&运维实施
文章平均质量分 62
K8S从0学起,记录K8S的使用过程,如果不想看视频的话,可以看文章,直接用到那个地方看哪个地方比较方便,同时记录了一些在TCP协议上的分布式应用部署经验,以及从0开始使用java开发区块链系统,flink实时计算,流式数据处理,
添柴程序猿
10年编程工作,涉及到.Net,Java,Android,C,Python等,爱好算法,人工智能,大数据等领域, 虚心求教,一起进步,大学毕业参加工作,如今一晃10多年已过,时间飞逝....
展开
-
Harbor本地仓库搭建002_Harbor负载均衡节点搭建_nginx安装配置_harbor安装---分布式云原生部署架构搭建002
Docker:Docker是一个开源的应用容器引擎,它允许开发者将他们的应用及其依赖打包到一个可移植的容器中,然后发布到任何流行的Linux或Windows操作系统的机器上。mv /opt/docker-compose-linux-x86_64 /usr/local/bin/docker-compose 将安装包解压以后,移动到对应目录。就需要在对应的system32/etc/driver ...找一下吧,忘记了,找到对应的hosts,修改一下就可以了。原创 2024-06-18 09:39:11 · 4159 阅读 · 0 评论 -
Harbor本地Docker镜像库001_Harbor介绍_高可用架构部署_机器配置说明_redis_nfs-utils_postgresql---分布式云原生部署架构搭建001
两个harbor的镜像文件,资源文件,可以存放在ceph中,nfs中,或者gluesterfs中。harbor,用来做一个本地的Docker镜像库,可以存放私有的镜像这样下载比较快,另外。然后,添加完数据库以后,然后执行/l可以查看一下数据库,使用exit可以退出,然后。然后这两个harbor使用负载均衡,,负载均衡用nginx做,做高可用,然后。这样我们的redis,postgresql,nfs就构建好了.然后我们再来看。然后再去,initdb,先去初始化postgresql 然后再去。原创 2024-06-17 16:56:03 · 68 阅读 · 0 评论 -
XXLJob中GLUE模式实现在线编写对应的java/shell/python/php/nodejs/powerShell代码并且定时执行编写的任务---SpringCloud工作笔记202
这里提到了一个ProcessBuilder的东西,这个可以用来执行python/shell/PHP/Perl等的语言的代码.这样就可以自己去做了.代码就这些了,实际上利用了groovy的代码的解析能力,把字符串的代码,转换为对应的类,可以看到,加载代码的时候,其实就是把字符串类型的代码,转换成了class,用的是。可以看到除了可以选择,已经有的BEAN,这个是自己提前编写好的Bean。在新增的选择GLUE java的人物,选择操作的下拉箭头,然后。可以看到对应的几种情况,这里具体实现到时候就可以有参考了.原创 2024-04-03 16:23:19 · 599 阅读 · 0 评论 -
Ruoyi-Cloud-Plus_使用Docker部署分布式微服务系统_Docker部署系统_002_Idea配置_构建镜像---SpringCloud工作笔记201
这里的Docker是需要自己创建的.上面显示的SpringBoot的内容也是,通过点击Run Configuration Type,然后在列表选择Docker之类的就可以了。然后继续来看,如何开启一个端口来让外部访问:这里的几个步骤,整合了官网的安装过程,这样整合以后,就可以直接看着安装了.看到下面有个terminal,打开,然后点击向下那个箭头,找到,刚刚配置的SSH,以后,然后再去。然后打开idea的terminal窗口,然后下拉箭头选择,我们连接的服务器,然后。可以看到在这里弹出的框中选择就可以了,原创 2024-04-01 10:13:05 · 175 阅读 · 0 评论 -
Idea/webstorm/pycharm2023.3.6启动无反应_ClassNotFoundException: com.licel.b.Z@---IntelliJ Idea工作笔记012
有一句这个-javaagent这个配置,就是新版,刚安装的这个idea,去找这个配置了,直接把这个文件中的。之前旧版本的2020版本的,卸载的时候没有卸载干净,导致,新版启动的时候,去找了旧版的配置文件。idea2023.3.4最新版安装的时候报错,说一下原因,是因为。-javaagent,这一行删除,是之前我们做优化用的对吧.具体就是这个:,其他系列的也一样处理就行。原创 2024-03-28 09:26:02 · 608 阅读 · 0 评论 -
快速清理_卸载docker_找到不用的进程_centos磁盘爆满_清理磁盘---Linux工作笔记071
rm -rf /var/lib/docker 删除docker文件就可以了.可以看到在/data/dict目录很大,里面的都可以删除。然后再去卸载docker,要不然,没有磁盘是卸载不了的。可以看到根据不用的结果进行删除。原创 2024-02-21 13:20:50 · 396 阅读 · 0 评论 -
离线安装nginx_银河麒麟系统_nginx报错_503_500 Internal Server Error----nginx工作笔记007
chmod 777 /opt/module/test_web 就可以了,然后再去访问就不会报错了,还有。然后关于离线安装nginx,尝试了一下如果把之前安装过的nginx,直接打包,发到另一台机器上,然后。如果报这个错误,意思就是,对于nginx.conf文件中指定的,文件夹没有权限。503的错误都可以这样解决。原创 2024-01-29 13:28:52 · 223 阅读 · 0 评论 -
x86架构/arm架构_麒麟系统安装minio_centos8.0安装最新minio_离线安装minio并设置权限_创建桶---minio工作笔记001
注意,要使用chmod 777 /opt/module/minio 给刚刚创建的minio文件夹赋权限。然后我们再在/opt/module/minio文件夹中创建,data文件夹,创建log文件夹,然后进入minio文件夹,然后把我们刚刚上传到/opt/soft中的minio文件,复制到。配置minio的,用户名密码,当然你也可以不配置,如果不配置的话,默认的。可以看到有可以访问的端口,然后去浏览器访问登录就可以了。可以看到对应的页面,然后登录,用上面设置的用户名密码。首先去到官网去下载minio,然后。原创 2024-01-29 11:53:37 · 898 阅读 · 0 评论 -
彻底清除SSHD挖矿病毒_清除定时下载启动病毒程序_centos7安全防护_CPU占用率超过百分之300_centos7.4中毒CPU百分之百_清理毒源---Linux工作笔记068
sshd占用cpu百分之300多...而且就算是kill -9 杀掉进程以后,进程又会自动启动。我们执行这个命令,可以看到有个/var/tmp/sshd的文件。rm -rf sshd删除这个文件,然后我们再去top可以看到。我们进入cd /var/tmp。原创 2023-12-11 22:39:09 · 605 阅读 · 0 评论 -
设置定时自动请求测试_自动定时循环发送http_post请求---postman工作笔记001
可以看到多久执行一次对吧,这里可以设置每几分钟执行一次,一共执行多少次等等。其实就是创建接口文件夹的时候,有个monitor collection。但是这里要说明一下,如果需要使用monitor功能,必须需要登录,所以如果这里点击monitor collection以后。这个时候会跳转到登录页面,可能需要注册个账号.用来监听接口执行情况,这里就可以设置。原创 2023-11-23 10:14:44 · 1055 阅读 · 0 评论 -
使用docker命令_进入容器_登录mysql服务_并执行sql语句---Docker工作笔记005
docker exec -it containerId /bin/bash 就可以进入容器的命令行.今天就用到了,不得不说用docker用到的还是少,记录一下,常用的也就这些吧.然后选择对应的docker id 就可以进入对应的 容器中。可以看到可以显示出对应的container id对吧.登录以后就可以正常在容器中执行sql语句了。然后去登录mysql就可以了.原创 2023-11-23 08:57:13 · 462 阅读 · 0 评论 -
Docker网络模式_Docker常用命令_以及Docker如何给运行的镜像内容连接互联网_Docker网络模式原理---Docker工作笔记004
systemctl show --property=Environment docker --显示docker的代理情况。docker exec b320d16bb9d2(容器id通过docker ps获取) ip addr show。执行以后可以查看所有在运行的镜像,以及镜像的id image name command 状态等。7.关闭某个镜像docker stop 镜像名字。镜像名字可以通过docker ps 来查看。6.指定网络访问方式启动某个镜像。重启docker daemon。原创 2023-11-03 09:13:04 · 417 阅读 · 0 评论 -
Centos中利用自带的定时器Crontab_实现mysql数据库自动备份_linux中mysql自动备份脚本_mysqldump特殊字符转义密码变量---Linux运维工作笔记056
这个mysql_back.sh用来定期备份,指定的表,也可以执行备份整个数据库,上面会在/data/module/下创建一个backup文件夹,然后再创建一个日期文件夹.这个经常需要,怕出问题因而需要经常备份数据库,可以利用centos自带的定时器,配合脚本实现自动备份.注意这个操作界面,用鼠标不行,需要用,tab按键,直接tab到确定,或取消,然后按回车回到命令行界面。2)、直接编辑/etc/crontab 文件,即vi /etc/crontab,添加相应的任务。导出sql文件:下面是备份整个数据库。原创 2023-10-11 10:59:03 · 593 阅读 · 0 评论 -
Linux或Centos查看CPU和内存占用情况_top只能查看对应的命令_如何查看具体进程---linux工作笔记062
其实如果有时间的话,再去专门看一下网络安全和linux脚本以及命令方面的,比较系统的看一下比较好.现在积累的都是工作中用到的,比较零散的知识.如果用top,比如说这里的java,就只能知道这个程序是用java命令启动的,但是不知道具体java启动的是哪个程序.一般我们都是用top去查看,但是top查看的结果,不能看出,具体是哪个程序占用的,这就很苦恼..这样就给出了具体的占用情况,给出了按照cpu排序的,进程,能知道具体是什么进程了.还可以用上面的命令也是可以的.原创 2023-09-28 16:26:25 · 1136 阅读 · 0 评论 -
Es集群节点启动报错_failed to obtain node locks, tried [[/data/module/elasticsearch-7.---ElasticSearch工作笔记033
这个错误网上有很多解决方案,基本上就是杀掉es进程,事实上,这个问题的原因可能不是一样的。lsof /data/module/elasticsearch-7.8.0/data/nodes/0/node.lock 然后杀掉这个进程就可以了。最近在做部署,发现了各个软件中启动或者安装的各种错误,记录以后希望以后不要走弯路,给有需要的同仁们,希望大家少走弯路,远离加班..解决方案呢,首先查看es的进程,然后杀掉。在使用上面的解决方案前,可以先确认下node.lock是否被某个进程占用,命令如下。原创 2023-09-18 10:18:45 · 685 阅读 · 0 评论 -
系统部署常用操作_查看硬盘大小_查看内存情况_查看某个端口是否被占用_telnet_远程scp复制拉取---Linux运维工作笔记055
4.telnet 192.168.1.110 8080 看是否连接到某个端口。2.free -m 可以看到解释,这里的-m 表是用m为单位显示。3.通过端口查看是否这个端口有占用的程序。1. df -h 可以查看硬盘大小。原创 2023-09-17 14:23:46 · 109 阅读 · 0 评论 -
Win10系统中好用的技巧_一个快捷键就出来_共享粘贴板_屏幕快速录制---Windows工作笔记055
1.超级好用,直接可以按下win+V表示启动系统共享粘贴板.启动以后就可以把需要的内容,双击就可以自动输入了.可以看到按下WIN+G就可以出来了,也是非常好用。原创 2023-09-11 17:50:45 · 89 阅读 · 0 评论 -
Centos7.9编写分布式集群大数据系统_自启动脚本_开机自动启动kafka_Hadoop_hbase_hive_efak_dataease_nifi_dbsyncer---Linux工作笔记058
由于为了方便,系统在启动的时候,设置成系统所有的,集群软件都自动启动,这样,可以减少,运维成本,要不然,这么多,工具,有的还不知道放到什么位置了,一个个去启动,非常麻烦.然后再给这个文件赋值上,执行权限,然后,重启以后,这脚本,我们设置在rc.local中的 ,就会自动执行了.然后编辑这个文件,写上自己,自启动脚本的位置,然后保存。原创 2023-08-10 17:53:59 · 699 阅读 · 0 评论 -
Centos7.9_解决每次重启机器配置的java环境变量都需要重新source /etc/profile才生效的问题---Linux工作笔记060
这种情况需要把环境变量,java的环境变量在/root/.bashrc文件中也放一份,注意这个文件是隐藏的,默认是,需要进行ls -a才能显示.可以看到配置环境变量的时候需要按照上面的方式进行配置一下,这个配置文件。然后才能,每次启动以后,都会自动生效环境变量。原创 2023-08-10 20:13:23 · 1330 阅读 · 0 评论 -
Centos7.9安装lrzsz进行文件传输---Linux工作笔记059
传输安装包什么的就不方便因为只有少数传输工具,才支持,直接拖拽的.没有的时候就可以用这个工具,用命令来传输。这里咱们lrzsz命令,需要用来进行文件传输,因为如果不安装这个命令的话,那么。rz 选择一个文件, 就可以把文件上传到当前的服务器目录。sz 文件名 就可以把文件下载下来。原创 2023-08-10 17:58:54 · 557 阅读 · 0 评论 -
Centos7.9_hadoop集群下配置防火墙_安全部署_防火墙配置_端口配置_协议配置_IP配置_全部亲测---记录022_大数据工作笔记0182
这个时候如果你配置了防火墙,如果扫描机的IP被屏蔽掉了,或者对应的端口被屏蔽掉了那么对我们来说,漏洞就扫描不到了,其实,除了系统本身的软防火墙,还有网闸,等待安全设备,可以保证内网的安全.在我们平时搭建大数据平台的时候,由于防火墙的限制,会让搭建集群的时候,报各种错误,但是,有些网络环境要求比较严格的地方,防火墙又要求必须要放开,尤其是..5.直接放开某个IP可以访问,本机所有端口,这样比较方便,因为有时候不知道有些开源软件内部还用到了哪些端口,如果一个个端口放开就比较麻烦。这里说一下防火墙的配置.原创 2023-07-24 17:33:40 · 1517 阅读 · 0 评论 -
Centos7.6安装mysql5.7.32报错_错误:依赖检测失败: mysql-community-common(x86-64) >= 5.7._解决---Linux工作笔记056
可以看到这个错误:,这个错误其实是,系统自带的这个mariadb-libs 这个,可以看到系统自带的是5.560的我们的是5.7的。继续操作安装去就可以了,记得要从开始操作先安装common那个。然后,安装的时候,以前没出这个错,现在有了看看。如果已经安装了mysql也去卸载一下;原创 2023-06-01 19:17:53 · 343 阅读 · 0 评论 -
在Centos7.9中安装postgresql15最新版本_参考官网说明安装---PostgreSQL工作笔记002
又难到我了...首先:去安装postgresql在centos7.9中,之所以在centos7.9中又安装了一遍,因为,我的大体思路,是利用postgresql的逻辑复制功能,获取postgresql的cdc的日志,但是这个日志是wal格式的,所以要用wal2json插件把cdc日志转换成json日志,然后利用nifi处理器,将postgresql的cdc日志拿到,有了日志,那么就可以在远程mysql上做同样的处理来进行数据同步了.这里的listen_address这个地址,配置一下,配置以后,然后退出。原创 2023-06-01 16:09:03 · 799 阅读 · 0 评论 -
纯手动搭建大数据集群架构_记录019_集群机器硬盘爆满了_从搭建虚拟机开始_做个200G的虚拟机---大数据之Hadoop3.x工作笔记0179
2023-05-12 11:06:48 原来的集群的机器,硬盘太小了,扩容不知道怎么回事,怎么都不能扩容,这里给172.19.126.121 配置了 新的MAC地址,然后配置了新的IP地址,然后重启就可以了.而在vmware中给centos去扩容,给根目录扩容,做的时候,弄了一天...最后还是报错,选择的那个973MB的安装的,这里下载这个镜像,下载以后然后,去配置虚拟机。然后内存10G,处理器核心以后也可以改,主要是是磁盘大小,以后不好改。这里记得取看看对应的mac地址是多少,在网络配置,点击高级。原创 2023-05-12 15:05:43 · 236 阅读 · 0 评论 -
安装2023最新版_华为欧拉操作系统_OpenEuler操作系统_并配置IP地址_联网---linux工作笔记055
强调,一定要记得,硬盘多给点,50G根本不够用,搭建集群的话,自己测试都要100G才行哈..没有啊,没办法,先用这个linux3.x试试吧...应该没啥问题吧...先试试。应该跟centos差不多,接下来,以后的项目,应该很多会用国产化系统的...要不然麻烦,因为别的可以动态修改,但是硬盘大小修改了,不起作用,需要在。然后网络,选择桥接模式,然后 复制物理网络连接状态勾上。然后给用户设置密码,不能太简单,太简单不让设置。然后这里安装目的地这里,选择自定义。然后写上主机名,自己起名,然后。原创 2023-05-10 15:38:22 · 2425 阅读 · 0 评论 -
phoenix_执行sql报错_Error: ERROR 504 (42703): Undefined column. columnName=(state=4270_大数据工作笔记0181
这里我用SquirrelSql 去执行 phoenix的sql语句,可以看到报错了。可以看到这里phoenix,后面要用单引号,前面要用双引号,表名要用双引号..可以看到对于这个postgresql这里,后面要用单引号,但是id不用引号。可以看到mysql的表名不用引号,字段不用引号,但是后面要用双引号。下面的执行报错,上面的执行就没问题...对应的引号都不一样太难受了...这里说一下真的是...原创 2023-05-10 09:46:43 · 330 阅读 · 0 评论 -
win10远程桌面报错: 由于一个协议错误(代码:0x112f),远程会话将被中断,请重新跟远程计算机连接_您的远程桌面会话已结束,可能是下列原因之一---windows工作笔记054
然后再找到远程会话环境这里,有个为远程桌面连接使用WDDM图形显示驱动程序,把他改成。还有看到右边有个 将远程桌面服务用户限制到单独的远程桌面服务会话 这个改成已禁用。然后找到远程桌面服务,然后找到远程桌面会话主机,然后找到连接。这个错误,首先用运行,gpedit.msc打开注册表。然后点击启用,配置连接数999999。管理员已结束了会话...找到windows组件。然后找到右边限制连接数量。原创 2023-05-10 09:08:48 · 5324 阅读 · 0 评论 -
2023_8.0.33版windows版MySql安装_配置远程连接_修改设置初始密码---MySql工作笔记0001
再去执行登录一下,登录以后,再去 执行 alter user 'root'@'localhost' identified by '123456'然后去执行mysqld --console --skip-grant-tables --shared-memory。去执行alter user 'root'@'localhost' identified by '123456'去执行mysqld --initialize-insecure --user=mysql。原创 2023-04-26 14:27:52 · 1557 阅读 · 0 评论 -
SqlServer2022安装与配置_并用Navicat连接SqlServer---sqlserver工作笔记0001
新建一个连接然后,点击测试连接,这个时候,会显示,无法连接,因为需要配置一下。可以查看一些错误日志,但是我这里用不到这个分析组件就不看了,一般都用不到。找到这里的协议,然后找到tcp/ip ,右键选择启用就可以了然后再去。然后功能选择这里,出了机器学习其他可以选择,我们用不到。又新建了一个表,在nifi模式下,是userinfo。然后再去重启一下sqlserver的服务,然后再去。然后我们再次点开,安装包,程序,然后这里选择安装。这样就弄好了,创建了一个表,添加了一些表数据。原创 2023-04-25 15:24:39 · 1777 阅读 · 3 评论 -
PostgreSQL15.2最新版本安装_远程连接_Navicat操作_pgAdmin操作_Windows10上安装---PostgreSQL工作笔记001
左边可以看到,我们点击postgres这个数据库,然后找到这个库的schemas,格式,找到以后,然后找到下面的 ,这个模式下的public模式中,有个tables表对吧.然后在tables中,右键,然后找到tables,然后再耗到scripts,然后找到select script然后。但是注意报错了...说,少了一个列,确实是,新版本的少了一个列,而Navicat,15还没有对应过来.Navicat,要么降低 postgresql的版本,建议降低,postgresql的版本吧,安装,原创 2023-04-21 17:13:16 · 987 阅读 · 0 评论 -
搜狗输入法的_函数技能_自动输入指定格式时间_自动计算公式---工作技巧002
$year-$month_mm-...按照对应的格式写上就可以了,然后再打sj的时候时间就出来了.高级里面有个自定义短语设置,然后,添加自定义短语可以。可以看到还有一个v模式,可以直接进行计算用的。输入v可以看到,直接输入1+121=122。具体v模式的用法可以参考上面的地址.有个sj,然后对应的。走到设置里,然后看看。然后这是常用的格式.原创 2023-03-21 10:24:23 · 1617 阅读 · 0 评论 -
超级实用--解决大问题了--如何设置哔哩哔哩-实现3,4倍速视频播放---工作技巧001
这个太实用了,为什么....因为我平时看教程的时候,如果速度过慢,就会影响效率,因为很多的技术点。首先:我们在视频的播放页面,找到,按下F12打开开发者模式然后看一下,elements这里,其实有个。都已经知道是怎么回事,很熟悉了,想跳过吧,又想听听熟悉一下,而如果一直用2倍速播放,又浪费时间。但是播放器上只能设置2倍速播放,那么怎么弄呢?要不然太浪费时间了,为什么不加上,3倍速,4倍速播放....气死人了...这样一句代码,然后回车执行就可以了,然后你回去播放,就会变快了...太棒了...原创 2023-02-22 11:00:00 · 3393 阅读 · 0 评论 -
VisualStudio2015安装不上的解决方法_选择对应msi_依然报错继续选择---VisualStudio2015工作笔记001
1.这里完整版大小挺大的6G多,但是这里我们找的有可能是只有3.8G左右的,这个版本的就是有文件损坏...但是这个版本是可以装上的,也不耽误用的,我亲自测试了.2.因为很久没写vb.net程序了,想写个小程序来着,想起来用了,结果安装装不上,但是最后还是让我给装上了.某个文件,那么就需要,手动的去找到,比如用everything找到对应的文件,然后选择上,然后。所以有些人,可能选择了第一个,然后,直接就点击下一步继续安装了,但是,过一会又弹出来了。点击跳过,大概这种操作,3次左右就正常安装完成了.原创 2022-12-30 10:47:16 · 2011 阅读 · 0 评论 -
idea2019.3启动不起来_卡在启动界面_重启也不管用的解决办法---IntelliJ Idea工作笔记011
如果这里勾选了,重启电脑以后可能会发现,电脑中的某些程序会出现,乱码的情况,界面显示的文字都会变成乱码,看起来很不舒服.然后看下面的图,这里不要勾选Beta版使用....这个如果勾选了,可以去掉,没有勾选勾选上然后。4. 点击区域选项卡,然后找到 管理,点击管理,然后点击更改系统区域设置。这里可以,找到控制面板,然后找到,右上角查看方式,选择,类别。一直卡在启动界面,起不来,实际上这种情况的的概率很小了,2.然后找到时钟和区域 点击时钟和区域 然后 点击区域。再重新启动,然后再打开idea就可以启动了.原创 2022-12-30 09:37:08 · 1737 阅读 · 6 评论 -
idea又闹腾了,怪哉怪哉,急死人那种~需要class,interface或enum---IntelliJ Idea工作笔记010
编译代码的时候出了一堆的错误: 明明没有错误的好嘛~就是报错就是报错~错误内容是:需要class,interface或enum 来吧解决问题:1.解决方案1:这是Java文件的编码导致的,通常使用javac FirstSample.java编译UTF-8编码的.java源文件。没有指定编码参数encoding的情况下,默认使用的是GBK编码。当编译器用GBK编码来编译UTF-8文件时,就会把UTF-8编码文件的3个字节的文件头,按照GBK中汉字占2字节、英文占1字节的特性解码成了“乱码”的两个汉字。这个源文原创 2022-06-10 22:42:05 · 2147 阅读 · 0 评论 -
大数据_Flink_Java版_容错机制(5)-保存点---Flink工作笔记0074
然后我们再来看保存点,可以这样理解,保存点是手动的保存,检查点,这个是flink,会自动的隔一段时间就会自动的去保存.而保存点不会,他需要我们手动的去保存,他有强大的功能,比如:手动备份不用说了.然后这个更新应用程序,比如当我们的程序更新了,我们需要把之前所有的数据都重新跑一遍吗?不需要对吧,我们一般都是更新前设置一个保存点,更新后,从这个保存点开始执行就可以了.然后版本迁移,如果升级了flink的版本以后,也是,升级之前做个保存点,升级以后,然后不用把所有数据都跑一遍了,只从保存点..原创 2022-03-24 16:30:00 · 306 阅读 · 0 评论 -
大数据_Flink_Java版_容错机制(4)-检查点具体算法---Flink工作笔记0073
然后我们来看看,检查点的算法是具体怎么实现的,可以看到上面:有两条流过来了,数据都是1,2,3,4,5,6,7...做了个加和操作,可以看到,蓝流,这里,上面是sum_even是偶数加和,可以看到蓝流的2,流到sum_even以后,输出了一个黄2这个结果对吧,然后再看奇数sum_odd这里,可以看到后面有个2,这个2肯定是 1 + 1实现的对吧,也就是,一个蓝1+一个黄1 就是2对吧.然后后面有个黄5,可以看到,这个肯定是,得到的,蓝2这里又加了个过来的黄3对吧就是5 了.可以看..原创 2022-03-25 16:00:00 · 399 阅读 · 0 评论 -
大数据_Flink_Java版_容错机制(3)-检查点算法思路和Barrier---Flink工作笔记0072
然后我们再来细看一下:flink是怎么实现,检查点的保存的呢?我们有两种方式,第一种简单的方式,我要想保存一个检查点的时候,我等某个数据处理完,然后把这个处理完的数据保存成一个检查点,这个数据处理的时候,我要暂停其他的所有的应用,等待这个数据处理完,这个方式,可以看到简单,但是效率很低. 在flink中有一种,可以看到叫做基于Chandy-Lamport算法的,分布式快照,这个就可以让taskmanager不停止工作的同时来保存检查点.并且可以保证一致性.我们看一下...原创 2022-03-28 13:45:00 · 328 阅读 · 0 评论 -
大数据_Flink_Java版_容错机制(2)-从检查点做故障恢复---Flink工作笔记0071
然后我们上一节可以看到上面说了,如何保存检查点,其实主要就是保存,某个数据处理完的状态,并且source要记录,处理完的那个数据的偏移量对吧,比如,上面这个检查点:1 2 3 4 5 6 7这些数据,现在处理到5了,那么,对于偶数:2+4 = 6然后对于奇数:1+3+5 = 9可以看到现在 5已经处理完了,但是在source要记录处理完的数据的偏移量也就是5,下一次,开始从6输入数据对吧.然后就是恢复数据,我们看如何从检查点恢复数据,可以看到现在1 2 3 4 ...原创 2022-03-25 10:45:00 · 423 阅读 · 0 评论 -
大数据_Flink_Java版_容错机制(1)-检查点概念---Flink工作笔记0070
然后我们再来看,检查点的概念,这里主要有上面几点要知道比如上面,处理数据,1234567数据,even是偶数,odd是奇数.这里检查点要存的,不能存储计算的中间状态,他要存,比如计算完的一个状态,正好是处理完某个数据的,状态,比如,数据5在source端,然后6在sum_even这里正好计算出6来然后sum_odd正好计算出9来...这样的状态,并且存的时候,也是会存5在source...把各个状态的数据的位置也要存储....原创 2022-03-27 17:30:00 · 242 阅读 · 0 评论