- 博客(54)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kubernetes日志收集 fluent-operator 动态索引名的实现
日志是能收集了，但是所有的服务的日志，当天都放到一个索引，类似 “k8s-logs-” 这样的索引中。虽然它功能不是最强大的，但是基本功能能满足我们的业务需求，采集输入端多样化，也能做简单的filter，支持output的端也很丰富。日志收集，考虑到我们没有主动上报日志，格式也不太统一，容器化的时候，对于我们而言采集容器标准输出的日志是更快捷达到目的的方式。我是这样实现的，利用lua的filter，通过取出kubernetes的labels，拼接新的值。
2024-02-21 16:45:50
1271
1
原创 Istio EnvoyFilter+Lua 简单实现动态路由转发
因为种种原因，我们需要实现一个将服务名和subset携带在http请求的header里面，根据这个来实现将服务转发去特定的istio的服务的subset。比如以下example：携带tag: gray的话，将其路由去msg-group 的gray subset。该版本返回数据：携带的话，将其路由去msg-group 的default subset。
2022-09-20 10:52:08
1030
原创 在kubernetes+istio中通过FQDN请求Nacos服务
背景是我们希望能在k8s中通过DNS方式，访问服务的FQDN来调用虚拟机注册到nacos的服务。我们vm和k8s的网段配置了相关路由能相互访问之前nacos有维护了一个同步去coredns的项目，但是年久失修，支持的nacos版本和coredns版本都不高。后面在官方文档找资料的时候，发现nacos是支持istio MCP协议的，于是采取这个方案来完成目标。
2022-09-20 10:47:34
1378
原创 容量治理-扩容、限流和降级
容量治理-扩容、限流和降级优秀的容量治理 不但能解决当前问题，还能防患于未然扩容扩容避免盲目，可以作为应急手段，避免滥用和无脑用考虑对底层资源的影响 （中间件、数据库、缓存这类、连接数、长连接数之类的）建立谨慎扩容风气优化程序为主（异步、读写分离、增加缓存、代码和SQL调优等等）限流常见限流策略流量整形： 指不管流量到达的速率多么不稳定，在接收流量后，都将其匀速输出的过程，即“乱进齐出”。容忍突发流量： 指的是限流策略允许流量在短时间内突增，且在突增结束后不会影响后续流量的正常
2022-02-09 13:21:07
793
原创 用lsof+sed+uniq+sort+head正则 统计出连接Kafka连接最多的IP
用lsof+sed+uniq+sort+head正则 统计出连接Kafka连接最多的IP继之前 《Kafka线上出口流量暴涨》一文的处理中，发现这个kafka连接数有点高。按照惯例，掐指一算，估计有程序没用线程池，或者没正确使用线程池。问题来了，我怎么知道kafka端口哪些IP的连接最多呢？所以要找到这个问题，我们还得找出相关的连接，给它排序一下，好直观一点。把问题拆解一下就是找出所有连接到本机 kafka端口(这里是9093)的连接从连接中提取出IP统计出各个IP连接的数量排序从高到低
2022-01-29 16:47:02
4034
1
原创 记一次生产Kafka出口流量暴涨问题
接到告警，业务的Kafka出口流量异常，这个kafka一直是订单类在用，平时插入的数据不会达到这个规模。其次，入口带宽很少，出口带宽这么多，掐指一算，大概率是消费的服务出现问题了。一般入口带宽和出口带宽 不是消费组特别多的情况下，两个的带宽相差不会太悬殊。
2022-01-29 10:16:41
2987
2
原创 Istio非侵入的流量治理
转自本人博客： https://uublog.com/article/20191212/principles-of-istio-service-governance/文章目录Istio流量治理原理负载均衡服务熔断故障注入灰度发布服务访问入口外部的接入服务治理Istio路由规则配置： VirtualService路由规则配置示例路由规则定义HTTP路由 (HTTPRoute)HTTPRoute规则...
2020-01-21 03:04:18
643
原创 Istio架构概览
文章目录Istio工作机制工作机制服务模型服务模型约束istio服务istio服务版本istio服务实例istio的主要组件istio-pilotistio-telemetryistio-policyistio-citadelistio-galleyistio-sidecar-injectoristio-proxyistio-ingressgateway其它组件Istio工作机制Istio主要...
2020-01-21 02:59:18
329
原创 Docker Swarm Mode中容器多网络多IP registrator注册服务IP的问题
问题描述在这篇文章《Docker Swarm Mode中部署SpringCloud微服务》之后遇到了点新问题。在运行时指定自己网络的时候，容器里面多个网络，多个IP，但是注册的不是固定注册某个网卡的IP作为服务IP。这就导致有时候注册的IP不是属于overlay网络的IP。服务访问就会出现问题。如果是用rencher部署的话，它有一个label记录了容器IP。可以用regi...
2018-08-12 15:22:01
1274
原创 Jenkins Docker插件故障 JSONException
有同志容器的日志写到了自己容器里面。但是出问题后，一直写，导致磁盘写满。以上是问题出现的前奏。我接着清理下无用的容器，先快速释放部分空间出来。docker system prune -a紧接着我就出去帮忙别的东西了。过一会被告知，Jenkins构建失败，而不止一个项目。每个项目出错如下： ERROR: Build step failed with exceptio...
2018-08-12 14:55:33
1367
原创 Docker Swarm Mode中部署SpringCloud微服务
实验环境创建一个Overlay网络搭建Consul集群和server高可用consul agent命令可选参数搭建Docker Swarm Mode集群Consul服务发现注册部署微服务参考资料首发于个人博客https://uublog.com/article/20180805/docker-swarm-deploy-micro-services/发现资料...
2018-08-05 15:35:23
1920
原创 Centos7+Docker部署Consul集群
Consul为什么选用consulConsulの初体验运行一个Consul Server运行一个Consul Client服务发现- Docker Registrator主要特点运行registratorRegistrator服务对象参考资料Consul整理了一些觉得有用的资料和踩过的坑.为什么选用consul1.因为Eureka即将...
2018-08-05 15:27:03
1948
原创 Docker容器清理
已经经历两次开发环境磁盘占用满的情况的。第一次是部署太频繁，然后有很多无用的images没有删除掉。第二次是docker容器，某些服务写了很多日志，导致磁盘被写满。撇开这些设置不当的问题，怎么清理掉一些“垃圾”，让docker占用空间变得小一点？Docker占用磁盘的主要有以下几样东西：Docker ImagesDocker ContainersDocker Logs...
2018-05-21 15:13:23
5528
原创 Crontab执行命令失败 手工执行成功
今天开发说有一台服务器crontab任务执行异常。同样的账户上去手动运行命令就能正确执行该命令。当时就感觉遇到灵异事件了。吃完饭再仔细看看。先把crontab要执行的命令重定向错误输出到文件。*/ * * * * xxxx xxxx > ~/errors 2>&1发现是如下错误：/usr/bin/env: php: No such file or directory说找不到PHP。基本可以判定是环境
2017-11-09 14:57:01
2214
原创 运维日志 数据备份同步的几个方案
博客链接 https://uublog.com/article/20170317/ops-log-backup-rsysnc-sersync-inotify-tools/最近公司有这么一个需求。某ERP并发不高，web数据不大，单台服务器就能满足需求，暂时不需要负载均衡。但是有对于服务高可用和数据安全需求比较高。所以想搞多一台服务器做灾备，实现高可用和数据备份。选择服务器目前业务主要面向华南地区的
2017-05-16 10:25:36
4489
原创 CentOS7安装Scrapy和一些爬虫会用到的服务
博客链接 https://uublog.com/article/20170308/centos7-install-scrapy/ 讯云这几天搞活动，免费领了三个月的免费VPS。所以想把本地虚拟机的scrapy爬虫迁移上去。Scrapy是基于Python写的。本来是要安装Python的，但是现在Linux基本都默认安装到Python了，所以这步略过。我本地是Ubuntu，服务器我装了CentOS7
2017-05-16 10:23:17
2327
原创 python从零写一个采集器:入库MySQL
博客链接 https://uublog.com/article/20170220/python-mysql-rw/ 采集到的数据，总归是要保存起来，保存到文件，或者数据库，方便以后取用。思前想后，还是决定采用MySQL数据库，新版本叫MariaDB了，不过都是通用的。安装MySQL-python模块sudo easy_install MySQL-pythonIssue:安装MySQL-Pytho
2017-05-16 10:20:29
2454
原创 安装MySQL-Python出错mysql_config not found
博客链接 https://uublog.com/article/20170218/issue-mysql-python-mysql-config-not-found/ 用python需要用到mysql，遂想安装一个MySQL-Python.但是遇到如下错误：➜ ~ git:(master) ✗ sudo easy_install MySQL-python[sudo] password for
2017-05-16 10:19:34
1331
原创 python从零写一个采集器:获取网页信息
博客链接 https://uublog.com/article/20170216/python-extarct-html-info/前言 获取内容，比较纠结是用BeautifulSoup还是直接用正则匹配好。BeautifulSoup简单清晰，但是不够灵活。 正则则相反。正文信息位置的分析像网盘，我们要提取的信息主要有共享者ID、资源名、网盘URL、资源大小、创建时间等等。搞清楚这些信
2017-05-16 10:18:13
4698
原创 python从零写一个采集器:获取网页源码
博客链接 https://uublog.com/article/20170206/python-get-web-source/前言 过完年无聊，想学学Python，想了半天，从实用的角度出发，打算边学边做。想了半天，还是写一个采集器好点。 目标嘛，就是采集 www.sobaidupan.com 的内容入库。因为是初学，有很多不懂，所以一切从简，实现目的第一，性能第二。正文既然要采集，肯定
2017-05-16 10:15:44
6127
原创 RHCE练习题 12. 配置一个web服务器
题目 实现一个web服务器 在server0上配置一个站点http://server0.example.com，然后执行以下步骤: - 从http://classroom.example.com/materials/station.html下载文件，并且 - 将文件重命名为index.html,绝对不能修改此文件的内容。 - 将index.html拷贝到你的web服务器的Doc
2017-01-03 23:46:36
2315
3
原创 RHCE练习题 6. 配置本地邮件服务 两种方法
题目 配置本地邮件服务 在系统server0和desktop0上配置邮件服务，满足以下要求： - 这些系统不接收外部发送来的邮件 - 这些系统上本地发送的任何邮件都会自动路由到classroom.example.com - 从这些系统上发送的邮件都显示来自example.com - 你可以通过发送邮件到本地用户student来测试你的配置， classroom.ex
2017-01-03 14:51:09
4307
3
原创 RHCE练习题 5. 自定义用户环境
题目 自定义用户环境 在系统server0和desktop0上创建自定义命令为qstat ,此自定义命令将执行以下命令： /bin/ps -Ao pid,tt,user,fname,rsz 此命令对系统中的所有用户有效。操作 默认使用bash shell，所以就修改它的配置文件。配置文件一般存在于： 1. /etc/bashrc 全局生效 2. /home/用户家目录/.
2017-01-02 22:54:21
1642
原创 RHCE练习题 4.配置链路聚合 四种方法
题目 在server0和desktop0之间按一下要求配置： - 此链路使用接口eth1和eth2 - 此链路在一个接口失效时仍然能工作 - 此链路在server0使用下面的地址 192.168.0.101/255.255.255.0 - 此链路在desktop0使用下面的地址 192.168.0.102/255.255.255.0 - 此链路在系统重启之后依然保持
2017-01-02 22:22:23
5439
原创 RHCE练习题 2. 配置防火墙对SSH的限制 两种方法
题目：配置防火墙对SSH的限制 在server0和desktop0上设置防火墙,对SSH实现访问限制： 允许example.com域的客户对server0和desktop0进行ssh访问。 禁止my133t.org域的客户对server0和desktop0进行ssh访问。 备注：my133t.org是在172.17.10.0/24网段，example.com 在172.25.0
2016-12-28 19:47:28
3578
原创 RHCE练习题 1. 配置SeLinux
环境说明： 您有三台虚拟机，分别是classroom-rh254,server-rh254,desktop-rh254。三台虚拟主机的网络和主机名已经配置好，均位于example.com(172.25.0.0/24)域中。另外my133t.org(172.17.10.0/24)作为非信任域。除了考试环境部署在classroomrh254上完成操作，其他所有的考试题目操作都是在server-rh25
2016-12-28 18:15:58
1570
原创 RHEL7 配置samba(smb)文件共享
一般使用SMB(Server Message Block)协议共享文件，都是客户机或是服务器是windows，才会使用。而samba是在Linux上实现SMB协议的自由软件。另外还使用到一个协议CIFS（Common Internet File System）通用的互联网文件系统，是基于SMB协议开发的文件共享协议。可以看做是增强SMB协议跨平台，通用性的协议。作为练习，服务器和客户机都是RHEL
2016-12-17 15:57:53
7702
原创 win10+TPLINK,用PXE安装redhat系统
最近第一次接触到PXE安装系统，感到很新鲜。而且现在基本每张网卡都支持PXE。遂在家愉快地玩了起来。结合这个使用kickstar自动化，批量安装系统确实能省不少精力。同时也适合家里有两台电脑，一台系统损坏，无法安装系统，又没U盘，又没光盘等情况。先说说我这次使用的安装环境吧。硬件：我使用的笔记本win10，一台TP-LINK，一台要安装系统的笔记本。软件：Tftpd32（T
2016-11-10 18:24:16
5400
2
原创 Delphi Websocket组件获取数据
Websocket 是个好东西。目前写的量化交易软件，行情的更新目前主要靠它，推送最新的行情信息到软件。 找到两个。Delphi Websocket组件 仅做一些简单的记录.从资料来讲，可能esegece要更为成熟一点，是一款免费但是不开源的组件。资料文档也比较健全，因此打算采用这个。组件我放到了常用的Delphi目录（sgcWebSockets.zip），本目录下有bin的deme。
2016-08-28 18:07:33
10873
5
原创 ZeroNet框架（ZeroFrame）API参考
水平有限，翻译错误的地方还望网友斧正Wrapper 封装这些命令可以控制wrapper框架，不用使用websocket发送到UiServer。wrapperConfirm message,[button_caption] 显示一个带确认按钮的通知框。 参数 描述 message 你要显示的消息 button_caption(可选) 确认的按钮的文字（默认：OK）返回：确认返
2016-06-04 23:31:05
3630
原创 关于Wireshark无法启动 一直在加载 loading configrue 或者 initializing解决
自从我升级 win8.1后。这玩意就启动不了，直到我换了win10也是一样。wireshark的版本也更新了N次。从1.1换到2.0.3均无法正常使用。wincap 4.1.3也重装了几次。也无法正常使用。百度了多次，只是发现有网友说，卸载优酷就可以了。我尝试了一下发现并不行。不过这两个之间似乎也没太大关联。最后还是在国外的论坛上找到了一个解决方案。用npcap
2016-04-30 15:04:57
6560
原创 Delphi 快速读取TXT 指定行的数据
继上次的问题。在提取了大量的Email 数据后。现在读取数据成了一个问题。今天我取过1~100w的数据。明天我要取100w~200w的数据。在不用数据库的情况下，我搞了一个下午。Delphi Tstringlist 和 textfile 的简单读取是满足不了的。Tstringlist加载不了大数据。普通的textfile 读取指定行，必须循环count到指定行。想了一下午，然后想到另类
2014-12-11 17:48:47
9957
2
原创 Delphi 提取TXT中的Email 数据
仅作记录，方便复用。适合以下格式的类型处理“aaaa [email protected] sfsfsafalfjaf [email protected] afaf 阿发”一行一个 email 有明显的分割符号。一行多个email 还要改一下。program Project1;{$APPTYPE CONSOLE}{$R *.res}uses System.SysUti
2014-12-03 00:20:10
1824
原创 Delphi 比较第三方正则组件 PerlRegEx 和 官方的 RegularExpressions 速度测试
我刚刚才知道Delphi XE4 已经有官方自带的正则组件RegularExpressions 。然后试了一下，感觉简洁
2014-08-30 18:29:52
4276
1
原创 [PoC]某B2B网站的一个反射型XSS漏洞
Author: Charlie 转载请注明出处。工作过程纯粹手贱，测试了一下。然后发现了这么一个东西。有心利用能造成大范围影响。如可以自由修改用户信息。漏洞存在文件：*.b2b.youboy.com/framephoto.html 【用户商铺的framephoto.html 文件均存在】成因：没有对提交的参数 path 和 t 的值进行过滤就插入到网页。漏洞证明：
2013-11-17 17:09:49
4786
原创 网站SEO工具篇之外链查询工具
雅虎站长工具的关闭不得不说是站长们的一大遗憾事.曾经我就是靠这个分析一些不错的网站的外链,买了不少优质的外链.言归正传,反链/外链还是要查的.下面就列一列本人收集到的一些不错的外链工具.1.https://cmn.ahrefs.com/site-explorer/ 个人觉得是最准的了. 有一次朋友用它分析我站外链,感觉很准. 免费只能查询几个,专业版要79美刀 企业版 499美刀.
2013-10-14 20:04:42
6580
2
原创 网站SEO优化之综合篇
有些东西知道，但是一直没有将它系统的整理出来。有时候突然要用，想半天总有遗漏。于是今天抽空开一篇博文，记录下SEO学习过程中遇到的零零碎碎东西。1.域名：域名对权重有哪些地方的影响呢？有什么值得我们注意的地方？[+] Whois 信息（信息完整，规范很重要.比如一个完整的名字，地址，电话，就比瞎写的要好。）[+] 域名年龄 （我个人觉得年龄很重要。和人一样，老的
2013-10-14 13:32:54
1444
SpeedTest_DelphiXE4 PerlRegEx 和 官方的 RegularExpressions 速度测试
2014-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人