自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

MyySophia的博客

Linux深度玩家

  • 博客(908)
  • 资源 (28)
  • 收藏
  • 关注

原创 为什么 kubernetes 环境要求开启 bridge-nf-call-iptables ?

启用 bridge-nf-call-iptables 这个内核参数 (置为 1),表示 bridge 设备在二层转发时也去调用 iptables 配置的三层规则 (包含 conntrack),所以开启这个参数就能够解决上述 Service 同节点通信问题,这也是为什么在 Kubernetes 环境中,大多都要求开启 bridge-nf-call-iptables 的原因。由于没有原路返回,客户端与服务端的通信就不在一个 “频道” 上,不认为处在同一个连接,也就无法正常通信。本文就来跟你详细掰扯下。

2023-06-16 17:35:28 1567 1

原创 Linux性能优化实战学习笔记(合集)

十五、Linux性能优化实战学习笔记 - Linux内存是怎么工作的_MyySophia的博客-CSDN博客十六、Linux性能优化实战学习笔记-怎么理解内存中的Buffer和Cache?_MyySophia的博客-CSDN博客十七、Linux性能优化实战学习笔记-如何利用系统缓存优化程序的运行效率?_MyySophia的博客-CSDN博客十八、Linux性能优化实战学习笔记- 内存泄漏了,我该如何定位和处理?_MyySophia的博客-CSDN博客十九、Linux性能优化实战学习笔记- 为什么

2022-01-17 15:44:01 1374

原创 Shell进阶实战合集

shell 进阶高级重定向的示例(shell 进阶)shell是如何被解析的?(shell 进阶)shell的作用域?(shell 进阶)shell中需要掌握的几个信号(shell 进阶)shell中的信号捕获trap(shell 进阶)Linux shell 内建命令、常见外部命令以及常见环境变量什么情况下会开启子shell(shell 进阶)终端、进程组、会话、shell 和脱离终端(shell进阶)_MyySophia的博客-CSDN博客shell命令行的选项和参.

2022-01-10 12:06:03 706

原创 十九、Linux性能优化实战学习笔记- 为什么系统的Swap变高了?

1、缓存和缓冲区,就属于可回收内存。它们在内存管理中,通常被叫做文件页(File-backed Page),此外除了缓存和缓冲区,通过内存映射获取的文件映射页,也是一种常见的文件页。它也可以被释放掉,下次再访问的时候,从文件重新读取。2、大部分文件页,都可以直接回收,以后有需要时,再从磁盘重新读取就可以了。而那些被应用程序修改过,并且暂时还没写入磁盘的数据(也就是脏页),就得先写入磁盘,然后才能进行内存释放系统调用 fsync ,把脏页同步到磁盘中。

2020-08-15 18:02:57 914 2

原创 pg为什么...?

2019-11-25 20:45:18 322 1

原创 HTTP头的查看

在chrome里打开开发者工具,选中Network。找到url即可看到此url的HTTP头。此外 :要区别F5和crtl+F5的区别如果是前者,请求的是有缓存的页面,可能之前页面存在的异常依然存在;后者发送请求浏览器直接向目标URL发送请求,而不使用浏览器缓存的数据。图一 常见的请求头图二 响应头 图三 响应码。QMS系统Status Code:20...

2017-10-19 16:44:46 965

转载 程序员最经常访问的站点

程序员应该访问的最佳网站中文版原版一些对程序员有用的网站在学习CS的时候有一些你必须知道的有用的站点来获取通知为了你的技术储备和学习新知识。这里是一个你应该访问的不是非常全面的一些站点的列表,这个列表会不断更新,只要我能得到链接,你也可以通过添加你知道的来为此做出贡献Index索引当你遇到问题时新闻篇针对新手的代码训练针对那些想开始一个小的项目但是无

2017-10-13 23:08:34 2319 1

原创 Nginx、OpenResty、Kong 的基本概念和区别联系

最棒的是,Kong得到了强大的 Nginx 的支持。作为 Web 服务器:相比 Apache,Nginx 使用更少的资源,支持更多的并发连接,体现更高的效率,这点使 Nginx 尤其受到虚拟主机提供商的欢迎。OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部,充分利用 Nginx 的非阻塞 I/O 模型,不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。

2024-06-02 22:12:08 918

原创 GitOps实践之Argo CD凭什么脱颖而出?

ArgoCD 能在众多 CD 工具中脱颖而出,除了 GitOps 大背景的推动以外,其自身也具备非常多优秀的特性。实际上,通过了解众多优秀的开源项目,我们会发现一个共同点,那就是,最初开源这款产品背后的公司,它使用项目的规模很大程度上决定了项目的技术视野和发展。无论是 Kubernetes 还是 ArgoCD,我们会发现其背后的公司在产品开源之前就已经在团队内部进行了大规模的使用,产品实际上已经考虑到了在不同规模的团队下的痛点和诉求,所以,这些产品在开源的时候就已经相对完善了,产品体验和文档也比较完善。

2024-05-03 17:18:10 978

原创 GitOps实践之Argo CD (2)

ArgoCD Image Updater 并不会直接修改仓库的 values.yaml 文件,而是会创建一个专门用于覆盖 Helm Chart values.yaml 的 .argocd-source-example.yaml 文件。开发和发布过程是分开的,应用定义仓库一般只有基础架构部门或者 SRE 部门具有修改权限,将源码和应用定义放在同一个 Git 仓库不利于权限控制,开发者也很容易误操作。argocd app create的时候就会使用这个来覆盖value.yaml中的数据。

2024-03-10 20:18:20 1061 2

原创 容灾多活解决方案

容灾系统是指在相隔较远的异地,建立两套或多套功能相同的系统,系统之间可以相互进行健康状态监视和功能切换,当一处系统因意外(如火灾、洪水、地震、人为蓄意破坏等)停止工作时,整个应用系统可以切换到另一处,使该系统可以继续正常工作。容灾系统需要具备较为完善的数据保护与灾难恢复功能,保证生产中心不能正常工作时数据的完整性及业务的连续性,并在最短时间内由灾备中心接替,恢复业务系统的正常运行,将损失降到最小。

2024-03-10 19:45:46 83

原创 GitOps实践之Argo CD

GitOps是Weaveworks公司于2017年首创的一种进行Kubernetes集群管理和应用交付的方式。GitOps通过使用Git作为声明性基础设施和应用程序的单一事实来源进行工作。GitOps的核心是将应用的声明性基础架构描述、应用源码与自动化流程存放在Git Repository中,将Git作为交付流水线的核心。

2024-02-25 22:39:34 802 3

原创 k8s ingress 无法找到端点

需要创建的是一个内部ingress : vnnox-consul-cn.vnnox.internal,这个域名在PrivateZone中解析. (和coreDNS 的作用类似,可以自定义一级域名,服务比自己维护更稳定。也就是ingressclass配置不正确。在vnnox-cn集群创建ingress,kubernetes.io/ingress.class 指定的是service-internal-lan.目前的vnnox-cn 集群版本是1.16.6. 无法直接查询ingress-class 的名字。

2023-12-01 15:26:07 725

原创 云原生微服务-理论篇

28定律先完成再完善。集中精力办大事。立场决定观点研发的角度优化、运维角度的优化?同步通信: 点对点异步通信: 发布订阅。

2023-11-19 19:35:34 1650

原创 velero 集群备份实战

服务端的安装使用的是celero客户段命令,这个velero命令是在宿主机,域名也是先走宿主机,宿主机当然不认识和这个集群内的域名了,所以这里应该使用。使用 minio 来作为对象存储,minio 是兼容 S3 的,所以这里我们配置的 provider(声明使用的 Velero 插件类型)是。s3Url=http://chot-minio.minio.svc.cluster.local:9000 minio使用这个地址,备份报错。首次安装的时候minio 的秘钥写错了,需要重新部署,卸载后重新部署。

2023-11-04 18:30:00 336

原创 Istio 实战

Istio是一个用于服务治理的开放平台。Istio是一个Service Mesh形态的用于服务治理的开放平台。Istio是一个与Kubernetes紧密结合的适用于云原生场景的Service Mesh形态的用于服务治理的开放平台。只要服务间有访问,如果需要对服务间的访问进行管理,就可以使用Istio。CNCF 社区2023 年6月毕业的一个项目。流行度稳定性什么是南北流量?东西流量?南北: ingress → svc → ep → po东西: svc → svc。

2023-10-30 21:19:13 446

原创 修改svc的LoadBalancer的IP引发的惨案

没事不要随便改LB svc的 externalIP ,是根据这个博主的文章修改的https://www.cnblogs.com/boshen-hzb/p/10679863.html。大家注意一下,不要把集群搞挂了。如果 EXTERNAL-IP 值是 (或一直是 ),则说明可能您的环境并没有为 Ingress 网关提供外部负载均衡器的功能。于是手动修改了这个lb svc的externalIP,于是k8s就崩了,如何崩的,且听我还道来。修改了svc的这个位置,于是api-server就崩了。

2023-10-27 23:59:54 1097

原创 理解 Linux backlog/somaxconn 内核参数

在研究IOTDB的时候,启动服务的时候会有个报警。iotdb后端服务器 Socket accept 队列满,系统的 somaxconn 内核参数默认太小。建议设置为65535下面我们我深入学习理解下 somaxconn 内核参数相关内容。

2023-10-08 15:00:54 309

原创 postgrest API CURD数据库

这个东西就是我一直想要的一个东西,postgresetAPI 操作pg数据库,因为sql 的stm真的太繁琐了。api.todos 赋予todo_user所有操作权限。默认是3000端口,

2023-09-26 10:23:23 136

原创 mysql char 和varchar的区别?

varchar存放固定长度的字符串,最大长度是2000,varchar2是存放可变长度的字符串,最大长度是4000.如果数据长度超过255个字符,不论是否固定长度,都会使用text,不再使用char和varchar。varchar对于汉字占两个字节,对于英文是一个字节,占的内存小,varchar2都是占两个字节。2、 char的插入数据效率理论上比varchar高:varchar是需要通过后面的记录数来计算。1、 char 一定会使用指定的空间,varchar是根据数据来定空间。

2023-09-03 21:42:38 1059 1

原创 MySQL 8.0 的工具日志配置管理

记录了MySQL 发生过的修改的操作的日志。记录MySQL工作中,运行较慢的语句。建议都在my.cnf 中配置,因为重启才能永久生效。、审计(工具:binlog2sql my2sql)普通日志,会记录所有数据库发生的事件及语句。genernal log : 普通日志。error log : 错误日志。log_bin=路径/文件名前缀。binlog : 二进制日志。slow log : 慢日志。作都会记录binlog。

2023-08-24 20:30:00 326

原创 MySQL 8.0 多实例的配置应用

initialize-insecure ,表示不安全的初始化。这个参数来自于 --initialize 参数,在MySQL5.7版本中,在初始化成功后,会生成一个临时密码,相对比较麻烦,所以这里改为 --initialize-insecure ,初始化成功后,密码为空。5.6 和5.7 初始化有所不同。使用的时候需要看文档操作。

2023-08-23 20:00:00 231

原创 MySQL 8.0 启动和关闭流程

建议: systemctl start起来的就使用systemctl stop停。如果用mysqld stop, systemctl识别不到。mysql 服务端对启动命令进行了层层封装,目的是为了操作简便。同时也提供了原生的启动方式以便应对特殊情况。生产环境一定不能使用pkill mysql。

2023-08-22 17:15:59 1023

原创 MySQL8.0新特性之用户管理

create with mysql_native_passwordalter with mysql_native_passwordvim /etc/my.cnfdefault_authentication_plugin=mysql_native_password

2023-08-20 22:22:20 209

原创 vim学习笔记(致敬vim作者)

【Normal】模式下如果需要往某行插入内容,一般是将光标移动到指定位置,然后【insert】模式插入。vim 删除某个字符之后改行的其他的字符?删除某个字符之后的其他字符?→ 到第 N 行 (陈皓注:注意命令中的G是大写的,另我一般使用 : N 到第N行,如。: 匹配光标当前所在的单词,移动光标到下一个(或上一个)匹配单词(是下一个,#是上一个) 对应的就是search模式的N和n。→ 到下一个为a的字符处,你也可以fs到下一个为s的字符。【3】删除某个字符之后的其他字符?→ 到逗号前的第一个字符。

2023-08-06 21:51:52 2816

原创 GLP(Grafna +Loki +Promtail)日志可视化企业级实战

GLP全称: grafana loki promtail, 一个轻量级的云原生日志检索系统。对于数据,Loki 不会构建全文索引,而是通过 Label 的方式去构建索引,并通过 Grep 查询匹配对应的 COS。对于存储,Index 和 Chunks,是可以刷到廉价的第三方 COS 对象存储中。这样跟 ELK 一对比,成本的优化是巨大的。

2023-07-17 20:30:00 1086 2

原创 GreenPlum on K8s

GreenPlum on K8sGreenPlum on K8sGreenPlum on K8s

2023-07-13 09:21:16 637

原创 K8s生产环境常见问题处理、答疑(连载、不定期更新)

Ingress 的 address 是由 Kubernetes 集群中的 Ingress Controller 提供的。其实这个问题,我一开始被误导了,因为都是warning,我一直在找error,k8s的设计哲学中,认为pod pending只是waring而不是error,这正是声明式API的特征,如果是命令式的,那一定是fail,就会有error/fatal。集群初建时使用了一个较小的nfs svr作为k8s的后端存储,随着业务数量的增多, 新搭建了一个大的nfs server,共10TB。

2023-07-12 14:15:18 1490

原创 红帽集群套件RHCS概述

RHCS是Red Hat Cluster Suite的缩写,也就是红帽子集群套件,RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合,它将集群系统中三大集群架构融合一体,可以给web应用、数据库应用等提供安全、稳定的运行环境。更确切的说,RHCS是一个功能完备的集群应用解决方案,它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现,通过RHCS提供的这种解决方案,不但能保证前端应用持久、稳定的提供服务,同时也保证了后端数据存储的安全。

2023-07-11 10:38:03 314

原创 K8s为什么需要calico? calico 原理深入理解.

当arp请求目标网段的时候,网关收到ARP请求之后会用自己的MAC地址返回给请求者。k8中arp代理功能在calixxx 所在宿主机上开启.一般的三层数据报文:这里destmac不适用目标pod ip对应的mac而是使用网关的maclinux下这个参数控制器开启Calico 通过一个巧妙的方法将 workload 的所有流量引导到一个特殊的网关 169.254.1.1,从而引流到主机的 calixxx 网络设备上,最终将二三层流量全部转换成三层流量来转发。

2023-07-10 21:30:00 3094 3

原创 kubernetes集群备份与恢复

VeleroVelero(以前称为Heptio Ark)可以为您提供了备份和还原Kubernetes集群资源和持久卷的能力,你可以在公有云或本地搭建的私有云环境安装Velero备份集群数据,并在集群故障的情况下进行还原将集群资源迁移到其他集群将您的生产集群复制到开发和测试集群在集群上运行的服务器端在本地运行的命令行客户端velero工作原理。

2023-06-30 11:30:00 2820 1

原创 正则表达式回溯引发的生产惨案

业务上的一个字段在解析时为了避免脏数据导致后续ETL的异常,决定从源头将该字段严格按照设计的规则去匹配。该字段的上传是设备端传上来的文件中的一个字段。使用regex101 debug mode 时,发现在匹配最后一个真这个块时发生了 pattern backtrack indicator。也就是说并不是所有的id都匹配不到,是偶发的。发现问题之后立即进行了退版操作。有几个id匹配不到,可实际上应该匹配到。这个正则匹配到这一步为啥会从头开始匹配?回溯之后就匹配不到了。为什么会发生回溯呢?

2023-06-30 10:32:21 197

原创 如何理解 Istio Ingress, 它与 API Gateway 有什么区别?东西流量?南北流量?

这三者都和流量治理密切相关,那么流量治理在过去和现在有什么区别呢?假如让你说出k8s中的服务暴露的方式?我面试也遇到过这个问题。mesh(Node 的灰色框) 中的的流量属于集群内部(东西向)流量属于东西流量。在学习istio的时候对流量管理加深了理解。客户端访问 Kubernetes 集群内服务的流量属于外部(南北向)流量。

2023-06-29 23:51:20 1004

原创 Restic文件备份工具

Restic 是一款 GO 语言开发的开源免费且快速、高效和安全的跨平台备份工具。Restic 使用加密技术来保证你的数据安全性和完整性,可以将本地数据加密后传输到指定的存储。Restic 同样支持增量备份,可随时备份和恢复备份。Restic 支持大多数主流操作系统,比如:Linux、macOS、Windows 以及一些较小众的操作系统 FreeBSD 和 OpenBSD 等。Restic优势Restic 每次备份都会生成一个快照,记录当前时间点的文件结构,可以找回特定时间点的文件。

2023-06-27 13:46:02 1479

原创 腾讯云私有云平台运维面试

根据会议将面试问题进行总结,很多问题感觉当时没回答好,这是为啥呢?应该还是不熟练吧,或者不善于表达。将次经历分享出来,大家多练练。

2023-06-25 23:51:34 1747

原创 go+vue自建运维管理平台

我猜作者之所以不想把新sql打入mysql镜像是因为不想每次版本更新 都在Dockerfile需要把新SQL文件copy进去,然后重新构建镜像。但是如果是容器平台则选择的余地很大,优秀的如kubersphere、kuboard、Rancher。如果不把sql 打到mysql镜像的话就需要手动到mysql容器执行sql脚本。kuboard 免费版只可以管理3个集群,而这个你自己可以改。鲁班的文档写的也不是很详细,入门会把很多人挡在外面。这个平台和spug很像,感觉就像是spug运维平台的容器版本。

2023-06-15 10:12:47 1678 1

原创 k8s中的PVC为何需要延迟绑定?(WaitForFirstConsumer)

WaitForFirstConsumer其实就是告诉volume控制器,虽然找到了适合的pv, 但。

2023-06-12 09:57:30 2168 1

原创 Istio中如何限流?

基于 QPS 的限流:可以使用 Istio 中的 Mixer 配置来设置基于 QPS 的限流。在 Istio 中,可以使用 Envoy 的内置限流机制来限制服务的流量。基于连接数的限流:可以使用 Envoy 的内置连接管理器来设置基于连接数的限流。上面的示例中,设置了一个名为 requestcountquota 的限流规则,它将每秒钟的请求数限制为100。总之,Istio 的限流机制可以帮助您更好地管理服务的流量,从而提高应用程序的可靠性和性能。上面的示例中,将最大连接数设置为 100。

2023-05-31 21:49:06 645

原创 linux中sh/bash 进程为何不接受kill SIGTERM

所以sh和bash进程不会立即响应SIGTERM信号是为了确保正常的,干净的终止,并给用户一个机会来控制终止操作。如果用户真的想立即终止sh/bash进程,可以发送SIGKILL信号。但这可能会导致数据丢失或其他问题,因此不推荐使用.

2023-05-23 23:04:32 245

原创 kubeadm安装集群的时候kube-proxy是如何安装的

在使用kubeadmin安装Kubernetes集群时,kube-proxy是通过kubeadmin配置文件中的kubeadmConfigPatches字段来安装的。例如,可以通过添加其他的KubeProxyConfiguration字段来配置kube-proxy的其他参数,或者通过添加其他的kubeadmConfigPatches字段来修改其他组件的配置。在admin安装集群时,可以通过修改kubeadmConfigPatches字段来自定义kube-proxy的配置。其实kube-proxy并不是.

2023-05-23 17:16:44 1294

SHL入职测评完全攻略(PDF已分类 可直接搜索!!!)

PDF已分类 可直接搜索!!!PDF已分类 可直接搜索!!! 现在越来越多的外资企业(包括若干投行、商业银行、industry的MT program等)已经把 笔试(online test或者现场笔试)纳入应聘程序,其中很多公司的test用题源于一家名为 SHL的机构。偶曾经参加过一些投行(UBS,ML, HSBC IB),HSBC BDP program, 渣打等笔试 ,积累了一定的经验(感觉总体来说投行online test难度相对较高,其他稍低),借此机 会和大家分享一下,希望从来没有接触过这种类型test的同学能对此有个感性认识,也希 望参加过该类test的同学能获得有用的信息,结合自己的特点加以改进。 SHL类型test的一般分两部分,numerical test和verbal test。

2023-07-27

京东数科-PG逻辑复制实战

在PostgreSQL 10 之前的流复制都是基于wal日志进行的物理复制,PostgreSQL 10版本中新增了一个逻辑复制的特性,逻辑复制是基于逻辑解析进行复制。它使用类似消息队列的发布者、订阅者的模型,利用复制槽的技术,发布者将wal日志解析成一定格式的数据流,订阅者对解析后的wal日志数据流进行回放应用,从而实现数据的同步。但是需要注意的是,PG的逻辑复制不是“SQL”复制,而是复制SQL操作的结果。 逻辑复制的优势 在进行发布时,可以选择发布 insert 、 delete 、 update,比如只发布insert、不发布update、delete 一个数据库可以有多个发布,保证发布不重名即可,可同规格pg_publication查看 允许一次性发布所有表 一个发布允许有多个订阅者

2022-05-14

课程来自于 【大厂学苑】云原生视频课程(视频+资料+代码)

《拥抱云原生》是大厂学苑联合KubeSphere官方团队,为所有探索云原生生态体系的爱好者全力打造的一套系列课程。 本课程全程云上实战,很好地结合了微服务架构和云计算平台两者的优势,属于架构师必备课程。将从无到有搭建企业自己的私有云平台、包括DevOps平台。 覆盖Kubernetes、Jenkins、Istio、Jaeger、Prometheus、ELK等全套云原生方案,真正实现云上亿级流量永不宕机。 让大家站在架构师角度重新审视云原生时代,体验新一代架构思想ServiceMesh、Serverless带来的革命性变化。 声明:若由于商用引起版权纠纷,一切责任均由使用者承担。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

2022-05-14

ji-ke-shi-jian - 云原生 孟Fanjie

伴随云计算的滚滚浪潮,云原生(CloudNative)的概念应运而生,云原生很火,火得一塌糊涂,都0202年了,如果你还不懂云原生,那真的out了。 大家言必称云原生,却鲜少有人告诉你到底什么是云原生,若是找资料来看,读完大多会感觉云绕雾罩,一知半解,总之虚得很;甚至会让你一度怀疑自己的智商,不过我对于读不懂的文章,一律归因于写文章的人太蠢,当然这不一定是事实,但这样的思考方式能让我避免陷入自我怀疑的负面情绪。

2022-05-14

5种风格的年终总结PPT.zip

快到年终了,这个总结PPT献给各位看友,希望喜欢

2021-10-28

如何成为学习高手.zip

一个人最重要的能力,就是学习能力。因为,我们的一切技能、思维、解决问题的方法,全都是从学习得来。 一个人的学习能力,相当于 Ta 的系统配置。你的学习能力越强,也就是配置越高,无论是学习,还是工作,你越能快速高效地取得好的成绩和结果。 这个专栏可以教会你: 如何掌握考试思维,成为一个特别会考试的人; 如何用连点成线法,在15天内背下10多门专业课; 如何记住读过的每一本书; 如何在5分钟内摆脱拖延症; 一个人在家如何做到高度自律; 如何利用科学方法,每天高效学习12小时; 如何快速学会新技能; 如何通过练习,让自己变得更聪明; …… 这套学习方法,接受过上百万人检验。你在学习中遇到的所有问题,都在这个专栏的射程范围之内。它会在相当大的程度上,改变你与学习相关的一切思维和习惯!

2021-10-28

软考资料-数据库中级工程师.zip

软考资料-数据库中级工程师包括 最新版本教材和历年真题详解

2021-10-27

非常清晰的flink 课程代码demo.zip

FlinkExample.zip 非常清晰的flink 课程代码demo

2021-10-27

数据采集之Flume.xmind

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 Apache Flume是Apache软件基金会(ASF)的顶级项目 Event是Flume定义的一个数据流传输的最小单元。Agent就是一个Flume的实例,本质是一个JVM进程,该JVM进程控制Event数据流从外部日志生产者那里传输到目的地(或者是下一个Agent)。 提示 学习Flume必须明白这几个概念,Event英文直译是事件,但是在Flume里表示数据传输的一个最小单位(被Flume收集的一条条日志又或者一个个的二进制文件,不管你在外面叫什么,进入Flume之后它就叫event)。参照下图可以看得出Agent就是Flume的一个部署实例, 一个完整的Agent中包含了必须的三个组件Source、Channel和Sink,Source是指数据的来源和方式,Channel是一个数据的缓冲池,Sink定义了数据输出的方式和目的地(这三个组件是必须有的,另外还有很多可选的组件interceptor、channel selector、sink processor等后面会介绍)。

2021-09-11

mysql-libs-5.1.73-3.el6_5.x86_64.rpm

启动postfix时报错: Please specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directoryPlease specify the final destination directory for installed Postfix configuration files. config_directory: [] bin/postconf: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory 安装 rpm -ivh mysql-libs-5.1.73-3.el6_5.x86_64.rpm 解决

2020-08-18

GreenPlum 数据库failover mster切standby.pptx

在master节点下 # 切换用户 su - gpadmin # 停止master pg_ctl stop -s -m fast -D  $MASTER_DATA_DIRECTORY 或者 pg_ctl stop -s -m fast -D /data/master/gpseg-1 返回信息:server stopped 查看standby节点状态(master节点执行) gpstate -f

2020-07-09

ncurses-6.1.20180407-alt2.src.rpm

htop依赖包,htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

htop-2.2.0.tar.gz

htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),htop众所周知是是一款强大的是Linux系统中的一个互动的进程查看器(作为top的替代品),一个文本模式的应用程序(在控制台或者X终端中),

2020-05-15

greenplum-loaders-4.3.27.0-WinXP-x86_32.msi

gpfdist是一个使用HTTP协议的文件服务器程序,它以并行的方式向Greenplum数据库的Segment供应外部数据文件一个gpfdist实例,每秒能供应200MB并且很多gpfdist进程可以同时运行,每一个供应要被装载的数据的一部分。当使用者用INSERT INTO SELECT * FROM 这样的语句开始装载时,INSERT语句会被Master解析并且分布给主Segment。Segment连接到gpfdist服务器并且并行检索数据,解析并验证数据,从分布键数据计算一个哈希值并且基于哈希键把行发送给它的目标Segment。每个gpfdist实例默认将接受最多64个来自Segment的连接。通过让许多Segment和gpfdist服务器参与到装载处理中,可以以非常高的速率被装载。

2020-04-30

很有用的述职报告.pptx

年底了,该交述职报告了,年底绩效考核该如何得分。。

2019-11-18

【批量下载】jvisualvm安装Visual GC插件等.zip

GC调优步骤: 1、打印GC日志 -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps  -XX:+PrintGCDateStamps  -Xloggc:./gc.log Tomcat则直接加在JAVA_OPTS变量里 2、分析日志得到关键性指标 3、分析GC原因,调优JVM参数

2019-09-24

4.-Greenplum-数据库架构介绍.pdf

Greenplum是一个分布式数据库系统,因此其所有的业务数据都是物理存放在集群的所有Segment实例数据库上;在Greenplum数据库中所有表都是分布式的,

2019-08-30

Greenplum企业应用实战.pdf

分布式数据库 Green Plum。 企业实战。你值得拥有!!!!!!!!!!!!!

2019-07-17

ethereal-setup-0.99.0.rar

利用分組嗅探器 ethereal(wireshark)分析HTTP 和DNS

2019-05-09

万能的连接工具DBeaver

万能的连接工具DBeaver dbeaver-ce-5.0.0-win32.win32.x86_64 (1).zip

2018-09-03

GPCC的安装包

GPCC的安装包 greenplum-cc-web-2.0.0-build-32-RHEL5-x86_64.zip

2018-09-03

框架完整简洁实用个人述职报告PPT

框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT框架完整简洁实用个人述职报告PPT

2017-11-09

spring最有学习价值的Demo(springmvc-master)

spring最有学习价值的Demo(springmvc-master)spring最有学习价值的Demo(springmvc-master)

2017-11-04

gcc mankefile -目录大全

linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!! linux目录大全 Linux-下GCC的使用 makefile教程 Makefile经典教程(最掌握这部分足够---因为汇集全部精华)!!!!!!!!!!

2017-10-19

Hadoop2.x大数据平台

(1) HDFS 2.0应用场景、原理、基本架构及使用方法.pdf (2) HDFS 2.0实战—Shell命令使用.pdf (3) Understanding_Hadoop_Clusters_and_the_Network.pdf 《 HDFS应用场景、部署、原理与基本架构》作业.pdf 《 YARN应用程序设计方法》作业.pdf 《MapReduce 2.0程序设计(涉及多语言编程)》作业.pdf 《MapReduce 2.0应用场景、原理与基本架构》作业.pdf MapReduce 2.0程序设计(涉及多语言编程)-理论部分.pdf MapReduce 2.0程序设计(涉及多语言编程)-实战部分.pdf

2017-10-19

strtus一个简单的例子

一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子一个简单的struts例子

2017-10-12

makefile的使用

2016-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除