自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

orangleliu 笔记本

lzz的编程之旅,技术,思考,分享,happy

原创 MySQL 学习资源整理

MySQL也有了几年了,说不出来个所以然,认知比较肤浅。所以需要加深学习呀,这里是学习过程中收集的一些好的资源,希望大家共同进步了。不是很系统的整理,看到了就记录了下来。 博客前辈们的博客就是他们成长的足迹。 DimitriK’s (dim) 玄惭 阿里 何登成 阿里 叶金荣 知数堂 姜成尧 网...

2017-01-23 16:16:38 20159 0

原创 [Maven]Nexus自建伺服切换地址之后遇到的问题

背景:公司有自建的nexus伺服,需要从老的地址 http://svn.xxxx:8081 (老地址) 切换到新的域名 (http://nexus.xx)。 过渡期已经有一两年了,最近老地址的机器要退了,所以必须迁移到新机器,记录下遇到的问题。 Nexus 使用 公司内部的开发,测试,以及发布都...

2020-07-04 09:20:09 227 0

原创 [devops]编译部署阶段

针对于后端服务非docker场景的pipeline

2020-04-02 20:37:22 145 0

原创 orangleliu的2019年小结

19年过的比较惶恐,突然感觉自己没有了竞争力,内心战斗力还是有的,就是感觉有力使不出,发挥不出来。 去年的心愿 旅行 读书 其他的完成度比较低 说说今年的印象深刻的几个词 失业 随着老ken不能说服爱立信,elmeast一直无法盈利,5月份的时候公司就几乎停止开展业务了。从年后一直陆陆续续的...

2020-01-02 20:33:02 227 1

原创 [bpf]bcc-tools和bpftrac运行错误 Error creating printf map: Operation not permitted

最近把公司的电脑安装了 ubuntu系统,用来做日常开发和学习的环境,看到内核比较新,所以想弄点新玩意玩玩。 环境为 # cat /etc/issue Ubuntu 18.04.3 LTS \n \l # uname -a Linux zhizhiliu-hp 5.0.0-32-generic ...

2019-10-31 22:38:14 541 0

原创 [Python]threading local 线程局部变量小测试

概念 有个概念叫做线程局部变量,一般我们对多线程中的全局变量都会加锁处理,这种变量是共享变量,每个线程都可以读写变量,为了保持同步我们会做枷锁处理。但是有些变量初始化以后,我们只想让他们在每个线程中一直存在,相当于一个线程内的共享变量,线程之间又是隔离的。python threading模块...

2019-10-29 11:44:13 5025 0

原创 [Python] MultiprocessTimedRotatingFileHandler

Python logging模块在多进程下不保证同步,所以 TimedRotating 的情况下可能会导致某些日志文件丢失,下面是一种简单的解决办法,对于日志完整行要求不是很严格的情况下可以使用。 # coding:utf-8 import time import os import loggin...

2019-10-29 11:39:40 208 0

原创 随笔201906

本年度Blog写的很少,加上去年的总结一共3篇,是什么原因呢?工作的事情不是很稳定,有些计划就被打乱了,之前蛮多的文章都是工作总结,还有就是看东西有些凌乱,不够专注,导致蛮多的知识只在皮毛,没有什么体系,所以就没啥记录。 搬家 4月份的时候已经交房拿到钥匙了,接着贴了墙纸,小修小补,然后就是看家...

2019-06-11 15:07:48 216 1

原创 Flume avro client和hdfs sink 完成自定义目录文件收集

准备 背景: 把分散在个边缘Node的访问日志收集到中央节点,然后在做后续的处理。边缘Node(例如hostname为BJ-NODE1) 上的日志每分钟切出来一个文件,通过 Flume avro client 把5分钟粒度内的日志上传到中央节点,生成一个文件,文件名类似 BJ-NODE1_tim...

2019-04-11 14:23:03 867 0

原创 说说HTTP 202状态码的场景

最近线上有对接其他系统的HTTP请求,总是取不到数据,导致数据偶尔丢几次。这是个交接过来的系统,之前也没对过API,后来拿到API以及测试之后,才发现是202状态码的异步任务导致的。 概念 rfc2616 MDN HTTP 202 200 OK 200 OK 表明请求已经成功. 默认情况下...

2019-03-08 10:54:19 28547 7

原创 Orangleliu的2018年小结

生活 今年总的来说家庭合睦,身体健康,蛮好的。 最大的事情就是买房子,借遍了亲戚朋友,加上父母的家底才凑够首付,虽然房子不大,也算有了自己的家,年后就可以搬进去了。虽然一下子欠下很多钱,有点不适应,但是有家的感觉还是蛮好的。18年房产调控比较厉害,所以买房的时机并不是很理想,稍微贵了些,从买房...

2019-01-20 10:51:41 405 1

原创 Golang 按行解析日志测试 ldetool

比较早的时候写过一篇 Python Golang 解析web日志正则一例 当时发现 Golang的正则模块性能不是很好。最近在逛 reddit的时候发现了这样一篇文章 Fast log parsing with Go ,文中提到了一个基于行做半结构化解析的库ldetool, 于是又做了一些尝试和学...

2018-12-16 16:43:35 1269 0

原创 Mac上使用SecureCRT

之前在mac使用ssh是用的一个开源的python + expect 脚本来做的,简单的连接操作还是挺好的 https://github.com/upton/ssh-auto-login-manage ,最近一些工作这个方式不太好满足,一个是同时操作多个机器,一个是使用rzsz 来传输文件(mac...

2018-11-14 17:04:46 5563 1

原创 Python 使用office365邮箱自动发送邮件

现在公司用的是 office365 的邮箱,有需要自动发邮件的需求,发现了一个还不错的库,写了个小demo,主要是smtp的配置注意下 安装方式 pip install emails import emails from emails.template import JinjaTemplate...

2018-11-14 14:06:14 6955 0

原创 Unix like系统清除 ^M

最近在接手其他人的项目,有些是用windows开发的,安装到linux发现执行不起来,出现了错误 -bash: /etc/init.d/tm: /bin/sh^M: bad interpreter: No such file or directory (还有一些配置无法读取等等了), 后来想起来...

2018-10-23 09:51:11 365 0

原创 随笔201809

不好好读文档的惨痛教训 大家都知道golang的 time layout是一个特殊的字符串 Mon Jan 2 15:04:05 -0700 MST 200, 比如最常用的格式就要这么写 "2006-01-02 15:04:05", 每个数字都是固定的含义。今天使用go...

2018-09-12 17:34:20 204 0

原创 Python 大文件多进程并行处理小例

这里的需求很简单,统计比较大的log文件的行数,最终版本请看最后一段代码。 环境 64G 32核心 机械盘 python2.7.5 文件的信息 $ tail www.geniatech.net 14.182.200.249 - - [23/Aug/2018:00:11:06 H...

2018-09-04 14:02:33 9289 1

原创 Python日志解析入库优化

上周做了一些测试还有改进,这里简单的总结下。 需求 需求是这样的:网络存储Gluserfs每天的日志文件大概有400多G的样子,全是类似nginx的默认格式的web日志,文件的大小分布不一定,几kb也有,几个G的也有,目录深度3~4层的样子。 现在把网络存储挂载到ServerA上,...

2018-09-03 13:28:57 1309 0

原创 随笔201808

为了可以看看很大的世界,我和 远总 各买了VPS,主要用来搭建天梯,一般都是我来维护的。最近想看看流量使用情况,于是弄了下监控来把玩下, grafana + prometheus + node_exporter 做了一套简单的监控平台来监控我们的主机基础指标还有网络流量。 用作监控的是 openv...

2018-07-30 18:04:16 1000 0

原创 kubeadm安装k8s测试环境

目标是搭建一个可测试的k8s环境,使用的工具 kubeadm, 最终一个master节点(非高可用),2个node节点。 环境以及版本 Centos7.3 kubeadm 1.11.1 kubelet 1.11.1 kubectl 1.11.1 docker-ce-18.06 说明 k...

2018-07-30 14:34:14 2823 0

原创 [Macos] ssh登陆小工具 ssh-auto-login-for-macos

ssh-auto-login-for-macos SSH自动登陆小工具 Macos 上登陆 ssh 其实在 terminal 或者 iTerm 使用原生的 ssh 命令就行,但是如果我们的服务器稍微多一点,即使用key的方式登陆,那么多ip总是难以记住。常见的几个解决方法 配置 ~...

2018-07-25 10:21:02 2312 0

原创 黑夜路人2聊天小群

17年的白天某个时间,不堪忍受灌水的 黑夜路人群 的群友们自建了一个非技术的聊天专用微信群,群主是被大家成为大姐大的 静姐(后来大家聊天太火热,她也不堪忍受,退群了 - -!)。 但是这个群促成了我第一次和网友聚会,然后还交到了几个朋友,这对于不善交际的我,有种收获不小的感觉,下面是根据回忆点评一...

2018-07-17 21:29:10 1791 0

原创 Google Stackoverflow Github 访问问题

stackoverflow 和 自建 google镜像 很多时候我们想要用google,但是呢梯子不太稳定,或者有时候用梯子还要维护pac等,反正就是不太爽。 这时候可以自己搭建一个 google mirror,最常用的网站一般就是google and stackoverflow, 下面说下简单...

2018-07-11 11:39:27 2790 0

原创 陈天-软件开发能力-live 笔记

工程师往往忽略的软件开发能力 slide 地址 软件开发能力 在刚开始的阶段大家对于语言的关注度往往大于系统层级,业务层级。 软件系统是个大工程,包括 separate programs, configration files ,代码或者编程语言都只是一部分。 发展阶段 ide...

2018-07-04 15:24:25 1873 0

原创 [macos] 通过usb共享网络给iphone

主要是想抓iphone的包,现在只有一个mac pro电脑,一个iphone手机,有wifi网络,(通过uuid抓包的方式不稳定),所以需要iphone的流量都从mac上走,然后在mac上进行抓包。 macos 10.13 phone7 ios11.3 操作步骤 首先是mac...

2018-06-23 14:53:52 21886 0

原创 2018.06~7 阅读随笔

Your State is Not Mine: A Closer Look at Evading Stateful Internet Censorship 加州大学滨河分校的的一个关于gfw绕过的研究,gfw阻止网络有IP禁止,以及tcp reset的方式,这个研究主要是提出一种绕过TCP ...

2018-06-21 14:02:17 1760 1

原创 [Macos] pptp 客户端安利

升级到macos 10.13版本之后,发现原来自带的pptp客户端没了,但是还是有用到pptp vpn的时候啊,找啊找,找到一个还不错的 pptp mac客户端 下载地址为 https://www.flowvpn.com/download-mac/ 下载的软件为 FlowVPN Connec...

2018-06-11 14:53:07 10262 0

原创 内网IP端口扫描统计+服务识别简单思路

前提:内网是10网段的,几乎所有机器都开了80和22端口,所以以此为依据认为扫描到的都是在线的IP。 目标是得到在线的IP启动了哪些端口,尽量猜测端口对应的服务。 Centos7 (macos用brew直接安装就行) Nmap 6.47 Masscan 1.0.4 Python 2.7.x...

2018-05-31 10:03:22 6643 0

原创 [linux]非root账户 sudo cd 无法切换目录解决办法

在Centos上有个账户A(非root),有sudo权限(权限比较大),想要用 cd 命令切换到 B账号的 /home/B 下的目录,结果没作用 [liuzz ~]$ sudo cd /home/xiejl/ [liuzz ~]$ sudo cd 无法使用是因为 cd 是 bash 的内...

2018-05-26 22:35:39 6866 0

原创 [python]使用pycrypto 或者 cryptography 生成rsa 公钥私钥对

简单的例子分别使用了 pycrypto 和 cryptography 库,可以根据自己的需求调整 key的长度或者是格式,默认是 PEM的。 代码 # coding:utf-8 from Crypto.PublicKey import RSA from Crypto import ...

2018-05-10 22:19:58 3406 0

原创 [Flask] pytest 文件上传单元测试

http 小文件上传的接口一般采用 表单形式的上传(http post) 或者是 stream 的直接上传 (http put), 用flask实现了上传接口之后就需要测试,怎么造请求折腾了一会,下面记录下代码片段 test_upload.py # coding:utf-8 f...

2018-05-03 15:59:27 2996 2

原创 [flask小坑] request.json 无法获取请求body的json数据

写接口自动化测试的时候,发现用httpie发送带有put请求,flask后端api可以获取到json数据,而我用robotframework发送的请求就不行,flask的 request.json 获取到的数据为 None 怎么办?查文档,看代码呗 代码 https://github....

2018-04-28 16:26:49 19149 5

原创 orangleliu 的笔记分享

有些内容没有系统的整理,也因为经常编辑,所以通过链接的形式分享下,有空再整理分享 s3cmd访问ceph rgw 用fakes3作为ceph对象存储测试环境 linux curl 常用case curl是简单手工测试的神器,非常有必要掌握 ...

2018-04-26 11:12:02 1329 0

原创 Openresty 反向代理返回非200进行retry到自定义upstream

利用 error_page 指令对反向代理返回的 404, 302... 等状态码,做子请求的二次处理。 client -[1]-> nginx proxy <--[2]--> 站点A(返回404,302) ...

2018-04-22 16:37:59 2802 0

原创 [Nginx] proxy cache 中对带有 Range header 请求的处理

media 文件下载服务需要一层cache,使用的是 Nginx 的 proxy_cache 模块,文件下载常见的一个需求就是要使用 Range 这个请求header来下载文件的一部分。下面就是测试 proxy_cache 模块,对这种请求的处理。 思考 前提 下载服务本身支持...

2018-04-17 09:39:35 4021 0

原创 Flask http 上传下载demo

说明 http 上传通常有两种模式 利用 enctype 为 multipart/form-data的表单上传,通常我们上传图片等小文件都是用这种方式. 参考MDN的文档 Using FormData Objects。一般的web框架支持都还不错,注意稍大一些文件写到disk就好,否则可能...

2018-04-13 14:40:54 2288 0

原创 [MongoDB] 聚合嵌入的数组

mongo-aggregate-nested-array 文档中嵌入了数组,此时就是要聚合这个嵌入的array。 MongoDB 3.6 数据样本 { "_id" : ObjectId("5aa63f7034cdbd6928f831ff&qu...

2018-04-09 18:29:45 3466 0

原创 [MongoDB] 聚合嵌入 object 的 key

标题比较拗口,下面给一个具体的例子 MongoDB 3.6 数据样本 { "_id" : ObjectId("5a79391534cdbd692825e978"), "cdn" : "Conve...

2018-04-09 18:06:24 1958 0

原创 [MongoDB] 按时间分组统计(任意时间段)

统计任意时间段内和sum,avg等信息 记录样本 { "_id" : ObjectId("5a2a290320fc1abc16104c0c"), "netservice" : "Brasil_Oi...

2018-04-09 12:19:53 15401 7

原创 Flask 中的登陆校验

请求的登陆校验是个常见的需求,如果使用 Flask 框架,一般会使用 flask-login 这个库,说说使用遇到几点问题 怎么全局禁用login检查呢? flask-login 提供了一个配置项 LOGIN_DISABLED, 开发和mock的时候有时候有这个需求。 app...

2018-04-09 10:57:10 1873 0

提示
确定要删除当前文章?
取消 删除