- 博客(83)
- 资源 (2)
- 收藏
- 关注
原创 jenkins配置golang 代码工程自动发布
以前go工程都是在我mac上打包成镜像然后再推到我的docker hub上去,每次更新都要经过打包->推送到dockert仓库->目前服务重新拉取容器;最近项目代码量很大,频繁更新,终于忍不住了,决定把jks得用起来,这样可以解放下双手。............
2022-07-21 11:42:55 2566 2
原创 Mysql 必知必会原文阅读笔记六(子查询)
一、xmind笔记,子查询二、实操1、理解子查询简单说来就是,sql 查询语句可以嵌套。在写sql语句的时候尽量注意美化sql,不然sql语句非常难懂。如下面sql:SELECT * from o_export_additionalWHERE order_no IN (SELECT order_no FROM o_order)2、子查询过滤3、利用子查询作为计算字段这里我想...
2021-12-18 18:24:56 577
原创 Mysql 必知必会原文阅读笔记五(数据分组)
目录一、xmind笔记,使用GROUP BY进行数据分组二、实操1、理解GROUP BY2、使用HAVING进行过滤3、GROUP BY和 ORDER BY的区别一、xmind笔记,使用GROUP BY进行数据分组二、实操1、理解GROUP BY通俗的理解就是:可以对某个field(字段)进行分组操作,比如:求最大值,最小值,值的个数,求和等。 比如数据库有下面这么多数据:我要对order_type所有的类型进行下求...
2021-12-18 16:11:16 570
原创 Mysql 必知必会原文阅读笔记二(正则匹配)
阅读《mysql crash course》英文版本后,感觉效果挺好,推荐大家多看英文书籍,本章做了些日志,用于后续回忆。
2021-12-16 19:05:04 738 1
原创 搭建带https的docker 私有镜像仓库(registry)
前言: 需要在阿里云服务器上搭建自己的私有docker镜像仓库,1)、pull和push时需要登录才能操作;2)、传输通过https保证安全性;下面把操作步骤进行了记录。一、pull registry镜像执行命令:docker pull registry:2二、创建账号和密码,并且通过docker加密1、创建几个文件夹,用于启动容器的时候挂载上去mkdir -p /data/docker-registry/cd /data/docker-registry &...
2021-12-09 18:00:23 2997
原创 apisix+nacos 实现网关和注册中心
一、部署apisix和nacosapisix通过官方文档docker-compse部署nacos通过docker方式部署。1、部署apisix2、部署nacos通过docker部署docker run --name nacos-standalone -e MODE=standalone -e JVM_XMS=512m -e JVM_MAX=512m -e JVM_XMN=256m -p 8848:8848 -d nacos/nacos-server:latest通过控制台(
2021-12-04 15:56:04 7629 1
原创 mac上面通过docker部署etcd,并且测试服务注册和服务发现
一、部署环境:macbook pro 上面安装了docker;二、部署etcd步骤1、mac上面下载etcd基础镜像docker pull quay.io/coreos/etcd2、创建网络组在我的mac上要运行三个容器,因此创建个网络,三个容器在同一个网络里面docker network create --subnet=192.167.0.0/16 etcdnet容器A:192.167.0.168容器B:192.167.0.170容器C:192.167.0.1.
2021-11-06 11:11:54 1449
原创 CDN系列-nginx架构学习
一、框架介绍nginx 是一款出色的代理服务器,支持高并非,高度模块化,广泛用于CDN、统一接入网关、邮件服务器、后端代理服务器等等。二、进程模型nginx 启动时,会有一个master进程和多个worker进程,master和worker进程之间通过管道进行通信,master进程主要是监控worker进程。为了减少cpu切换影响cpu效率,一个worker进程绑定到一个cpu上面。 接下来,我们谈下nginx的优化重启,执行:nginx-s...
2021-08-19 16:42:29 651
原创 docker-machine部署以及管理多个docker host
前沿:提供了四台服务器来做测试,IP和安装的服务如下:172.20.20.13docker-machine172.20.20.14172.20.20.6172.20.20.81、安装docker-machinecurl -L https://mirrors.aliyun.com/docker-toolbox/linux/machine/0.13.0/docker-machine-`uname -s`-`uname -m` >/tmp/docker-machi...
2021-03-18 10:36:36 444
原创 软件编程的一些思考(copy)
1、以终为始:价值是一切的起点。技术的表面上看是职能线,但技术的本质不是完成需求,而是在一起创造价值。有个二八原则,说的是80%需求都没啥用,其实这个数字实际可能更大。因此业务上要从起点考虑。2、重视数据。但凡不能被数据考量的,基本都没啥价值。这不是一个绝对的判断,但实际上适合大多数场景。之前我发现做很多事,看似出不来数据,譬如服务化等。后来仔细想想,做得太早了。指标很难弄出来的技术项目,一般都是形式化、漂亮的,好看不好吃。3、打不打、打哪里比怎么打更重要。这句话是英文DO RIGHT
2021-03-05 16:25:31 125 1
原创 CDN通过openresty库实现ocsp stapling,有效提升客户端回源效率
背景 最近在开发CDN在线加速功能,各个CDN厂商都支持了oscp stapling 功能,所以我们的产品必须也要实现它。实现它的好处就是:可以省掉浏览器和CA机构的服务器校验证书的时间,这样可以提高浏览器的响应速度。一、什么是ocsp stapling 对于一个可信任的 CA 机构颁发的有效证书,在证书到期之前,只要 CA 没有把其吊销,那么这个证书就是有效可信任的。有时,由于某些特殊原因(比如私钥泄漏,证书信息有误,CA 有漏洞被黑客利用,颁发了其他域名的证书等等)...
2020-05-08 17:47:30 1850 4
原创 lua 基础知识
一、ipairs 和pairs 的区别:ipairs 会一直遍历下去,遇到key 不为整数时会退出;pairs 会一直遍历下去举个例子:local tabFiles = {[3] = "test2",[6] = "test3",[4] = "test1"} for k, v in ipairs(tabFiles) doprint(k, v)end 猜测它...
2020-05-02 11:14:04 266
原创 openresty中的lua-resty-core和nginx-lua-module 的API 效率对比
Table of Contents背景一、lua-resty-core 是什么?1、介绍2、Nginx API for lua 在lua-resty-core中怎么实现的二、lua-resty-core 和nginx-lua-module API执行效率对比1、介绍 2、实例对比三、为什么在openresty中要使用lua-resty-core这个lua模块...
2020-04-27 12:45:02 1919 1
原创 海外直播服务器搭建
背景: 最近有个朋友的APP需要在国外搭建一个直播服务器,因为他们的主播在韩国(主播主要是记者),而观众主要在国内,因此,委托我给他们开发一个直播服务器。 目前开源的直播服务程序有:SRS,Nginx-rtmp;如果是做开发的同学应该有所了解,SRS是基于C++写的,Nginx-rtmp模块是Ngxin的第三方C模块。一开始我是直接部署SRS/Ngxin-rtmp 到我的韩国的...
2020-04-17 09:59:11 4770 2
原创 openresty下lua 连接redis 的方式
可用在阶段:set_by_lua_file、init_by_lua_file。是否所有阶段都可以用,还需要测试。local cmd = "redis-cli -h 192.168.1.13 -p 6379 -n 0 get service"local f = io.popen(cmd)----获取对应的数据---local redis_server = tostring(f:...
2020-02-27 14:24:24 590
转载 高效编写openresty应用
本文内容,由我在 OpenResty Con 2018 上的同名演讲的演讲稿整理而来。PPT 可以在这里下载,因为内容比较多,我就不在这里一张张贴出来了。有些内容需要结合 PPT 才能理解,请多包涵。编写正确且高效的应用,最为关键是一系列软件工程上的实践,像测试、code review、灰度、监控、压测等等。不过由于这是 OpenResty 大会上的演讲,我会专注于讲讲 OpenRes...
2020-02-27 10:18:48 553
原创 python爬虫之:IP代理池开源项目讲解
Table of Contents一、项目基本介绍二、项目讲解三、一些项目问题答疑四、代理池设计一、项目基本介绍本项目来源于github,截止于2019/08/20,star数量:7133, Fork 数量:2135 。github地址:https://github.com/jhao104/proxy_pool码云下载地址:https://gitee.com/...
2019-08-27 10:37:24 803
原创 docker部署到centos7
一、安装docker1.安装需要的软件包# yum-util提供yum-config-manager功能#另外两个是devicemapper驱动依赖的$ yum install -y yum-utils device-mapper-persistent-data lvm22.设置yum源$ yum-config-manager --add-repo https://download...
2019-07-27 10:55:49 1314
原创 Python 强制kill thread 线程
python 强制kill thread 线程,这里封装了两个函数,可以直接使用。def _async_raise(tid, exctype): """raises the exception, performs cleanup if needed""" tid = ctypes.c_long(tid) if not inspect.isclass(exctype)...
2019-07-03 19:50:51 3880
原创 unbound 源码分析(CDN智能调度场景的二次开发)
Table of Contents一、背景:二、智能DNS调度流程框图:三、unbound 二次开发修改源码说明四、部分源码分享:一、背景:最近要完成高铁cdn项目里面的智能DNS调度模块。要实现在收到用户的DNS查询后,会主动向某个服务(集群状态管理服务)查询该用户所在的单车服务器IP,并将单车服务器IP返回给用户,这里其实跟云端做的根据用户所在的IP来分配靠近...
2019-06-25 16:10:46 1522 7
原创 手动安装nginx 1.16.0 以及新增模块的操作方法
Table of Contents一、下载源码二、为nginx设置安装目录和启用的模块三、编译四、安装五、启动nginx六:新增加模块的操作方法一、下载源码http://nginx.org/download/nginx-1.16.0.tar.gz执行下面命令,下载源代码到/data目录下:cd /data && wget http://n...
2019-06-18 10:18:01 2672
原创 nginx+lua 入门
一、nginx调用lua的指令set_by_lua 设置nginx变量,可实现复杂的赋值逻辑set_by_lua_fileaccess_by_lua 请求访问阶段处理,用于访问控制access_by_lua_filecontent_by_lua 内容处理器,接收请求处理并响应输出;content_by_lua_file二、nginx的luaapi 接口ng...
2019-05-29 20:38:35 633
原创 nginx 中级篇-学习笔记
一、nginx作为代理服务器1、正向代理和反向代理:正向代理:代理服务于客户端;反向代理:代理服务器服务于服务器端;比如做nginx做负载均衡。反向代理:location ~ /url.html {proxy_pass http:/127.***:8080/}二、nginx rewrite 规则作用:1)用来重定向页面;兼容性支持;2)SEO优化;...
2019-05-26 17:52:07 338
原创 nginx以基于多域名方式来配置虚拟主机
前言: 所谓基于域名的虚拟主机,意思就是通过不同的域名区分不同的虚拟主机,基于域名的虚拟主机是企业应用最广的虚拟主机类型,几乎所有对外提供服务的网站使用的都是基于域名的主机,例如www.test1.com www.test2.com等测试方法:在/etc/nginx/conf.d 目录下新建两个测试的conf,到时候直接在里面来配置我的参数。备注:如果放在 /et...
2019-05-11 18:30:45 454
原创 nginx基础篇-学习笔记
一、基础篇1、epoll模型优势1)、解决select模型文件句柄fd受限制的缺点;2)、采用callback回调机制提高处理效率;2、nginx 的CPU亲和力(affinity)把work进程绑定在CPU上,减少切换时间;3、nginx 的sendfile工作机制普通的:用户-> 用户内核 内核file socketnginx...
2019-05-11 18:23:34 147
原创 pycharm 连接mysql+ 数据库设计
一、对于数据库操作:step1:创建数据库 并且添加用户mysql> create database sms_info;mysql> grant all on sms_info.* to 'stefan' identified by '1qaz@WSXm';step2:用创建的用户名和密码进入刚刚创建的数据库:mysql -u stefan -p sms_...
2019-04-21 16:41:13 681
原创 centos7 上搭建mysql 5.6+修改密码
前言: 最近在做一个网站,需要用到flask+ mysql + 爬虫技术。爬到的数据需要存到Mysql ,因此最近又重新搭建了一遍mysql。这里主要是做一个记录,方便后续再需要时查看。安装环境:腾讯云centos7 + mysql5.6首次安装时,如果通过免密进去发现只有一张数据库:information_schema,那多半是权限的问题;一、通过yum安装Mys...
2019-04-21 10:54:29 806
原创 ES错误:retrying failed action with response code: 503 ({"type"=>"unavailable_shards_exception"
最近ES里面有个索引一直保存,错误信息如下:[2019-04-03T09:54:15,328][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 503 ({"type"=>"unavailable_shards_exception", "reason"=>"[gps...
2019-04-03 10:00:15 6079
原创 logstash 配置filter规则,解决Index切片慢8小时的问题
最近在搭建elk日志采集系统,发现index都是早上八点才开始切,这对于数据展示会影响,于是想把index改成凌晨过零点就切换。我的logstash版本:5.4.1。先附上我的解决方案吧:在filter里面加入: ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime...
2019-02-19 17:28:20 1176
原创 secureCRT 把文件夹颜色字体蓝色修改为别的颜色
secureCRT是每个IT人员的必用工具,如果设置Emulation Terminal 为Linux模式,则ls的时候,目录的蓝色跟背景颜色很接近,导致每次看的时候都特别费劲,老感觉看不起。现在我们来修改它的颜色:option->Global options –> Terminal->Apperance->ANSI Color , Bold colors ,把蓝色修改...
2018-12-19 09:42:51 4152
原创 利用charles 抓取ios app的https数据包-----软件配置和抓取步骤
背景:最近在做数据缓存相关的工作;我们的设备是放在高铁里面的,主要是提供wifi服务。然而我们的wifi是由sim卡4g网络拨号提供的,用户在上网时需要下载我们的APP:掌上高铁;所以领导提出一个要求,要在自己服务器做一个缓存,用户在ios app-store下载掌上高铁的时候,直接把它劫持掉,改由我们设备服务器直接推给用户下载,这样我们就可以省下不少流量。 现在问题来了,我...
2018-11-15 11:02:19 1455
原创 使用dd命令在Linux下创建大文件,批量大小文件生成方法
前沿:最近在开发自动从U盘拷贝大批量文件到linux系统的的功能。由于需要几十个G的大文件来做测试,如果自己去找这么多资源,然后再拷贝,非常麻烦。所以学了下dd命令,现在总结一下:一、参数介绍if=FILE 从FILE中读取数据,而不是默认的标准输入。 if可理解为:in fileof=FILE 往FILE中写入数据,而不是默认的标准输出。 of可理...
2018-11-13 11:34:51 7051
原创 python 读取excel表内容:以获取高铁站点经纬度为例子
前言:python 操作excel表时需要:import xlrd。如果没有这个库,请直接:pip install xlrd步骤:1、import xlrd2、读入xls文件data = xlrd.open_workbook(filename)#文件名以及路径3、操作book和sheettable = data.sheets()[0] #通过索引...
2018-10-30 17:08:28 1925
原创 利用python爬虫实现:抖音短视频无水印视频下载
各位小伙伴,之前一段时间迷上了抖音小姐姐视频,但是下载的视频都有水印,于是自己用Python 写了个爬取小姐姐视频的工具,大家可以直接拷贝到自己编译器上运行。经过半天的琢磨,自己用python搞出来一个根据抖音分享视频链接去除水印并下载的功能。此外,我还利用pyqt5写了个操作界面,这样可以方便不懂代码的人使用。后面代码我都会一一贴上来。备注:这个只是个人兴趣,参考代码的小伙伴切莫用于非法商业...
2018-10-22 10:44:20 4395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人