orangleliu 笔记本

lzz的编程之旅,技术,思考,分享,happy

orangleliu 的笔记分享

有些内容没有系统的整理,也因为经常编辑,所以通过链接的形式分享下,有空再整理分享 s3cmd访问ceph rgw 用fakes3作为ceph对象存储测试环境 linux curl 常用case curl是简单手工测试的神器,非常有必要掌握 ...

2018-04-26 11:12:02

阅读数:31

评论数:0

MySQL 学习资源整理

MySQL也有了几年了,说不出来个所以然,认知比较肤浅。所以需要加深学习呀,这里是学习过程中收集的一些好的资源,希望大家共同进步了。不是很系统的整理,看到了就记录了下来。 博客前辈们的博客就是他们成长的足迹。 DimitriK’s (dim) 玄惭 阿里 何登成 阿里 叶金荣 知数堂 姜成尧 网...

2017-01-23 16:16:38

阅读数:2204

评论数:0

[python]使用pycrypto 或者 cryptography 生成rsa 公钥私钥对

简单的例子分别使用了 pycrypto 和 cryptography 库,可以根据自己的需求调整 key的长度或者是格式,默认是 PEM的。 代码 # coding:utf-8 from Crypto.PublicKey import RSA from Crypto import ...

2018-05-10 22:19:58

阅读数:23

评论数:0

[Flask] pytest 文件上传单元测试

http 小文件上传的接口一般采用 表单形式的上传(http post) 或者是 stream 的直接上传 (http put), 用flask实现了上传接口之后就需要测试,怎么造请求折腾了一会,下面记录下代码片段 test_upload.py # coding:utf-8 f...

2018-05-03 15:59:27

阅读数:41

评论数:0

[flask小坑] request.json 无法获取请求body的json数据

写接口自动化测试的时候,发现用httpie发送带有put请求,flask后端api可以获取到json数据,而我用robotframework发送的请求就不行,flask的 request.json 获取到的数据为 None 怎么办?查文档,看代码呗 代码 https://github....

2018-04-28 16:26:49

阅读数:55

评论数:0

Openresty 反向代理返回非200进行retry到自定义upstream

利用 error_page 指令对反向代理返回的 404, 302... 等状态码,做子请求的二次处理。 client -[1]-> nginx proxy <--[2]--> 站点A(返回404,302) ...

2018-04-22 16:37:59

阅读数:47

评论数:0

[Nginx] proxy cache 中对带有 Range header 请求的处理

media 文件下载服务需要一层cache,使用的是 Nginx 的 proxy_cache 模块,文件下载常见的一个需求就是要使用 Range 这个请求header来下载文件的一部分。下面就是测试 proxy_cache 模块,对这种请求的处理。 思考 前提 下载服务本身支持...

2018-04-17 09:39:35

阅读数:41

评论数:0

Flask http 上传下载demo

说明 http 上传通常有两种模式 利用 enctype 为 multipart/form-data的表单上传,通常我们上传图片等小文件都是用这种方式. 参考MDN的文档 Using FormData Objects。一般的web框架支持都还不错,注意稍大一些文件写到disk就好,否则可能...

2018-04-13 14:40:54

阅读数:39

评论数:0

[MongoDB] 聚合嵌入的数组

mongo-aggregate-nested-array 文档中嵌入了数组,此时就是要聚合这个嵌入的array。 MongoDB 3.6 数据样本 { "_id" : ObjectId("5aa63f7034cdbd6...

2018-04-09 18:29:45

阅读数:49

评论数:0

[MongoDB] 聚合嵌入 object 的 key

标题比较拗口,下面给一个具体的例子 MongoDB 3.6 数据样本 { "_id" : ObjectId("5a79391534cdbd692825e978"), "cdn...

2018-04-09 18:06:24

阅读数:31

评论数:0

[MongoDB] 按时间分组统计(任意时间段)

统计任意时间段内和sum,avg等信息 记录样本 { "_id" : ObjectId("5a2a290320fc1abc16104c0c"), "netservice&...

2018-04-09 12:19:53

阅读数:184

评论数:0

Flask 中的登陆校验

请求的登陆校验是个常见的需求,如果使用 Flask 框架,一般会使用 flask-login 这个库,说说使用遇到几点问题 怎么全局禁用login检查呢? flask-login 提供了一个配置项 LOGIN_DISABLED, 开发和mock的时候有时候有这个需求。 app...

2018-04-09 10:57:10

阅读数:28

评论数:0

axios 处理 302 状态码

比如说浏览器打开了一个单页面(SPA)应用,过了一段时间token(或者session)过期了,这个时候页面上发起 Ajax请求之后,后端返回302状态码跳转到login页面。 我这是使用的是 Vue + axios ,发现 axios 无法拦截到 302请求,下面是处理的过程。 思...

2018-04-09 10:20:31

阅读数:275

评论数:0

[OpenResty动态] 20180328 沙尘暴

今天沙尘暴很牛 我们团队的泽轩同学最近给 OpenResty 新增了 ngx.resp 这个 Lua FFI 模块的 add_header() 函数,可以像标准的 nginx 配置指令 add_header 那样只追加新的响应头,而不会覆盖已有的响应头。 文档在这里: https:/...

2018-03-28 09:57:15

阅读数:51

评论数:0

[kong] 使用docker搭建测试环境

安装记录,参考链接 https://hub.docker.com/_/kong/ 这里默认用的是 cassandra https://getkong.org/install/docker/ 然这里默认的是 pg 所以在设置数据库的时候保持一致,我这里用的pg,然后把本地的kong代码挂载...

2018-03-28 09:03:37

阅读数:296

评论数:0

python 实现 i18n 多语言国际化

下面的例子中实现 python i18n 英文和中文 双语显示,因为实现这个功能还是需要几个步骤的,网络上有些例子,但是当时没有找到一个符合心意的,于是写一个备用,尽量好上手。 测试环境 MacOS 10.13.1 Python2.7.x python gettext doc ...

2018-03-26 23:31:26

阅读数:64

评论数:0

vue 中使用 axios 下载pdf

axios 是个轻量级的 http 客户端,vue项目中使用非常普遍,现在需要对接一个 pdf 报表接口,发现 axios 无法直接直接下载下来,也就是说用 axios 请求,返回的结果是二进制文件,但是浏览器没有直接下载下来,下面是解决的方案的代码片段。当然也适用于其他二进制文件下载。 ...

2018-03-26 15:40:42

阅读数:116

评论数:0

SSH和Netcat完成临时内网穿透

场景是这样的,前几天问运维同学要了一个测试机,只有内网IP,大部分情况够用,但是呢,偶尔也需要看看web页面什么的,怎么解决呢,正好我有个VPS,所以就想用SSH做个反向隧道,可以在家里也能访问到测试机的web服务,大部分都是临时使用,用完就关闭就好,安全风险也不是很大。 连接互联网...

2018-03-20 00:00:54

阅读数:65

评论数:0

怎样使用Google chrome播放 .swf 文件

How can I play an .swf file using Google Chrome? 昨天遇到一个问题,本来有个 .swf 的流媒体测试工具,但是直接拖到 chrome 中,总是直接被下载,也就是无法直接使用 chrome 打开 .swf 文件, 在 osf 找到一个不错的解...

2018-03-16 09:39:59

阅读数:206

评论数:0

vuejs loading 模态窗口例子

可以根据需要自行修改,效果如下 环境条件 vue2,两个组件文件,还有一个使用的例子. 用到了 pug 和 scss 语法, 也可以改成 html 和 css ,loading 图标的参考来源 https://nguyenvanduocit.github.io/vue-load...

2018-03-07 10:05:27

阅读数:123

评论数:0

Python Golang 解析web日志正则一例

有部分日志文件解析的需求,现在使用的python做的,想看看golang的下表现怎么样,由于对golang没那么熟悉,所以没有做什么优化,对比下看两种语言正则提取的代码和性能。仅做参考和思考 环境 macos 11.13.x 15年版本 python2.7 brew直接安装的 go ...

2018-02-24 11:25:41

阅读数:115

评论数:0

[OpenResty]使用nginx lua清除proxy cache

分享2篇文章,介绍了nginx proxy cache的原理,以及怎么使用lua做 cache purge, 包括单一url的清除,特别的支持了通配符的purge操作。 核心代码 gist url-- Tit Petric, Monotek d.o.o., Tue 03 Jan 2017 06:...

2018-01-03 10:20:04

阅读数:398

评论数:0

orangleliu的2017年总结

不管过的好坏,回头看看一年的经历总是好的 年初的时候对自己说 这一年一定要有所收获,不管是赚钱还是生活水平。事实上这一年收获了很多,但是账面上却毫无起色。梦碎从16年10月到17年9月,接近一年的时间里,工资从来没有发完整过,每个月3000块不到。我想能接受这样的经济收入继续创业,并且连个大饼都没...

2017-12-27 22:52:19

阅读数:192

评论数:3

MySQL终端显示格式化

默认的mysql cli客户端非常方面,但是有时候表字段太多就会显示交错行,看起来很费劲。 测试环境 macos 10 mysql 5.6 + mysql 自带客户端 mysql 命令 来看一个例子mysql> select *from radacct limit 2; +---------...

2017-09-19 11:53:41

阅读数:533

评论数:0

Django unittest 设置跳过某些case

按理说unittest 中是不应该测试那种外部依赖很强的用例,但是呢,有时候有些接口总是调试好之后怕忘了,就写了一些简单的测试case,想要通过在settings中增加一些配置来开启和关闭这些case,这样的话就可以在正常跑单元测试的时候隔离开这些不怎么正规的测试用例。 环境 * Django...

2017-09-05 18:33:47

阅读数:499

评论数:0

OpenResty 限制下载速度

http://blog.donatas.net/blog/2017/07/25/limit-bandwidth-openresty/ Nginx 有两个非常棒的模块用来限制响应(responses)的速度 limit_rate 对一个客户端限制速率 bytes/每秒 limit_rate_aft...

2017-09-01 09:42:45

阅读数:583

评论数:0

Openresty 动态2017.8

8.27agentzh:Mashape 公司最近赞助了我们 OpenResty Inc 公司把 ngx_stream_lua 模块重写了一遍。现在我们迁移到了 nginx 1.13.3 核心的新的 stream 子系统上面,现在 Lua 驱动的 nginx TCP 服务器也支持 nginx 变量等...

2017-08-27 09:45:55

阅读数:1127

评论数:0

Django实践之配置文件

一个django项目通常有几个环境,开发环境,测试环境,单元测试环境,以及生产环境,这里每一种环境的settings配置都有一些区别。默认的settings是一个py文件,这里采用一个模块来组织。 目标 - 每个环境不冲突 - git中不冲突配置管理Django启动时候指定settings一般...

2017-08-11 16:43:00

阅读数:590

评论数:0

MySQL 分区表以及操作

对现有表进行分表, 对过期数据进行归档等操作。 分表的一般 参考(只是参考): 表体积大于2g,简单查询表数据超过1000w行,复杂查询表超过200w行。 两种分表的思路 * 横行分表 比较常见的是按时间切分 * 纵向分表 对于字段的冷热程度区分很明显的情况注意的点 * 分表之前要搞清...

2017-07-24 15:23:55

阅读数:406

评论数:0

django views中 request, response的常用操作

以问题的形式记录一些请求和响应的常见写法,django1.8为例子。 request 获取post请求中的json数据 def hello(request): data = json.loads(request.body) ...json格式还有一些 非表单序列化 的格式,都可以从...

2017-07-17 14:03:24

阅读数:760

评论数:0

【Django】源码分析之session生命周期

Web应用中session是至关重要的一个概念,有了它http就有了状态。 我们才能方面的开发出各种基于用户的应用。说到session 不得不说cookies,不过cookies在服务端基本没有太多需要实现的逻辑,基本就是存取和报文格式之类,所以不做研究。 (下面是根据django1.8代码分析)...

2017-07-13 10:52:59

阅读数:1769

评论数:3

Python 中 time模块 time.time() 是不是系统调用

事情是这样的,最近公司自己定义了一个api规范,其中有一部分是请求时候用时间戳做 md5摘要。 然后我看到领导在文档中说 python 的 time.time() 是系统系统调用,调用的消耗太大,md5摘要中不用时间戳,而是用其他的字段。 于是我就不太相信这个说法。 线上的环境一般是 CentOS...

2017-07-09 16:30:39

阅读数:957

评论数:0

python logging模块 init格式配置传递参数

Python项目中,logging模块的配置使用了 ini 这种配置,也叫做 fileconfig 配置,然后不想把存放 log 文件的目录 硬编码。抽象出来就是怎么给 init 格式配置文件传递参数。 利用 fileConfig 中的 defaults 参数可以实现 文档地址py文件import...

2017-07-05 15:29:57

阅读数:561

评论数:0

Python date 类型转 datetime 类型

datetime to date在 Python 中,通过 datetime 获取到日志的 date 类型比较简单, datetime 提供了 date() 方法In [1]: from datetime import datetime In [2]: help(datetime.date)In ...

2017-06-22 11:12:51

阅读数:521

评论数:0

Python使用pycrypto进行RSA长字符串加密

Python RSA 长字符串加密标签(空格分隔): 未分类 今天有位群友在 “Python那点事” 群里问到了一个使用 pycrypto 进行rsa报错的问题。 问题使用 pycrypto 进行 rsa 加密解密,padding模式是 RSA_PKCS1_PADDING, 加密比较短的字符串...

2017-06-09 17:00:43

阅读数:5117

评论数:4

Django 禁用Migrations 给 Unit Test 提速

文章地址:https://simpleisbetterthancomplex.com/tips/2016/08/19/django-tip-12-disabling-migrations-to-speed-up-unit-tests.html Django 框架提供了 test 接口,很简单,自从...

2017-06-08 12:51:31

阅读数:468

评论数:0

MySQL 错误 “could not be resolved: ..” 和引发的思考

早上的时候发现mysql从库有点异常,看完了从库的日志,也看看主库的error log吧,这一看不得了啊,什么乱七八糟的ip都出现在日志里面,是不是叫人 密码爆破了。。mysql版本5.6.13 2017-06-04 09:29:19 45300 [Warning] IP address '123...

2017-06-04 16:42:14

阅读数:2783

评论数:0

MySQL Join算法与调优白皮书

转载自 InsideMySQL 公众号,微信公众号不好被搜索引擎收录,所以转载一份备看。 原文地址: https://mp.weixin.qq.com/s/vt7YjxaikJh14pnY2FAWvg 写作时间 2015-07-23正文Inside君发现很少有人能够完成讲明白 MySQL 的 Jo...

2017-06-03 11:28:52

阅读数:1326

评论数:0

Go Tracing Roadmap

Go Tracing Roadmap golang 分布式追踪的路演, 直接从语言层面支持这些特性,golang真是太棒了, 原始文档在 google doc 上,可能有些同学网络不太方面,所以转一份在这里。 Jaana B. Dogan (jbd@golang.org), May 15, 20...

2017-05-27 10:04:54

阅读数:727

评论数:0

[django]禁用 Django Rest Framework 的 Browsable API

如果您用django来开发 restful 接口一定听说过或者使用过 Django Rest Framework 这个项目(简称DRF), 它可以帮助django用户方面快捷的开发 restful api,并且提供了完善的文档。 DRF提供了一个非常好用的功能,叫做 Browsable API ,...

2017-05-25 10:12:35

阅读数:652

评论数:0

golang websocket 模拟pc扫码登录

之前写了一篇 微信第三方扫码登录抓包小记 ,正好最近看golang,于是面向google编程写了个服务端的程序。第一次写golang程序,用来学习的。 模拟PC浏览器二维码扫描登录的过程,手机APP端用 微信 模拟,简单起见,APP端只要发送token给服务端就算登录,服务端主动提示登录成功信息。...

2017-05-20 08:14:23

阅读数:1121

评论数:0

微信第三方扫码登录抓包小记

微信第三方扫码登录流程抓包,主要了解扫码登录机制。 主要有2个角色,PC端浏览器(下面简称PC端),手机端微信APP(下面简称微信), 浏览器端的抓取使用 Chrome的开发者工具,手机端的抓取使用 Charles (mac上的一款抓包工具),下面是一次交互中的抓包记录,顺序进行。PC端 点击o...

2017-05-18 07:54:06

阅读数:5477

评论数:0

[OpenResty动态] 201705微信群

17年5月 OpenResty 一些动态,主要来自微信群,方面大家检索和查找。 OpenResty 新特性enable_privileged_agent院生同学最近给 OpenResty 贡献了 ngx.process 模块,可以开启一个特殊的特权 nginx agent 进程,类似 worker...

2017-05-15 15:08:15

阅读数:1312

评论数:0

pycrypto 和 lua-resty-rsa 进行跨语言的RSA加密解密.md

最近需要在 OpenResty(Nginx lua) 和 Python 中做RSA的加密和解密操作,客户端是Python的使用 pycrypto 库,而服务端使用 OpenResty 来做解密,使用了德江的 lua-resty-rsa。如果不熟悉2个库的同学可能会遇到一些问题,下面说下遇到问题和简...

2017-05-15 11:09:04

阅读数:2684

评论数:0

利用 Headless Chrome 根据url生成pdf

Google developers 最近发布了一篇文章,关于 Headless Chrome 的入门 ,从 Chrome 59 版本以后就可以在服务端使用 无头Chrome了,不仅有 cli 的接口,还有多种语言的接口,给 Web 自动化测试带来新动力呀,当然很多有意思的东西可以更方面的做出来了。...

2017-05-13 15:06:31

阅读数:1622

评论数:0

《MySQL运维内参》书籍目录备忘

这本是MySQL专家写的书(周彦伟,王竹峰,强昌金),介绍 MySQL 数据库知识的专业书籍,从核心原理到最佳实践,逐步深入浅出, 层层抽丝剥茧,不仅从源码和运维两个角度介绍了MySQL 大部分重要概念和运维要点,还 讲述了MySQL 最优秀的集群组件Galera的实现原理和运维经验,同时,也介绍...

2017-05-12 13:51:16

阅读数:2869

评论数:2

Django template 中优雅的自定义权限过滤filter

由于业务原因需要在Django模版中自定义一种权限过滤方式,作用类似于django auth系统中提供的 permissions filter. 下面是我看到一种写法,实现起来比较简单,用起来也比较简单 django-user-permissions-in-your-templatesfilter...

2017-05-10 10:22:06

阅读数:1111

评论数:0

Django model中设置多个字段联合唯一约束

使用Django中遇到这样一个需求,对一个表的几个字段做 联合唯一索引,例如学生表中 姓名和班级 2个字段在一起表示一个唯一记录。 Django中model部分的写法, 参见 unique-together 部分文档。class MyModel(models.Model): field1 =...

2017-05-08 10:39:19

阅读数:5003

评论数:0

17年结婚了!

今年最重要的事情就是 结婚, 圆满落幕。 4月12号回沈阳,在老婆家里办了婚前宴,我爸妈第二次去沈阳,上次在沈阳市里溜达一圈,这次在辽中溜达一圈。没有举行什么仪式,就是吃了个 溜碗。4.19 日请了婚嫁,然后跟老婆去沈阳转了几天,看了看楼盘,发现房价被炒的可以,涨了好几千,浑南很多地方还有烂尾楼...

2017-05-05 18:56:21

阅读数:645

评论数:0

Python 处理微信网页版消息中的emoji表情在命令行中显示

找了一个基于微信网页版API的微信机器人,主要在命令行中使用,然后发现消息中的表情都变成了 html的标签啊,然而想让表情正常在控制台显示,就有了下面的代码。 问题因为我的微信名称中有emoji表情,收到的消息是这样的 4739723278617112577 orangleliu<span ...

2017-04-07 21:11:47

阅读数:2576

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭