orangleliu 笔记本

lzz的编程之旅,技术,思考,分享,happy

Python 使用office365邮箱自动发送邮件

现在公司用的是 office365 的邮箱,有需要自动发邮件的需求,发现了一个还不错的库,写了个小demo,主要是smtp的配置注意下 安装方式 pip install emails import emails from emails.template import JinjaTemplate...

2018-11-14 14:06:14

阅读数:348

评论数:0

Python 大文件多进程并行处理小例

这里的需求很简单,统计比较大的log文件的行数,最终版本请看最后一段代码。 环境 64G 32核心 机械盘 python2.7.5 文件的信息 $ tail www.geniatech.net 14.182.200.249 - - [23/Aug/2018:00:11:06 H...

2018-09-04 14:02:33

阅读数:230

评论数:0

Python日志解析入库优化

上周做了一些测试还有改进,这里简单的总结下。 需求 需求是这样的:网络存储Gluserfs每天的日志文件大概有400多G的样子,全是类似nginx的默认格式的web日志,文件的大小分布不一定,几kb也有,几个G的也有,目录深度3~4层的样子。 现在把网络存储挂载到ServerA上,...

2018-09-03 13:28:57

阅读数:180

评论数:0

[python]使用pycrypto 或者 cryptography 生成rsa 公钥私钥对

简单的例子分别使用了 pycrypto 和 cryptography 库,可以根据自己的需求调整 key的长度或者是格式,默认是 PEM的。 代码 # coding:utf-8 from Crypto.PublicKey import RSA from Crypto import ...

2018-05-10 22:19:58

阅读数:1616

评论数:0

python 实现 i18n 多语言国际化

下面的例子中实现 python i18n 英文和中文 双语显示,因为实现这个功能还是需要几个步骤的,网络上有些例子,但是当时没有找到一个符合心意的,于是写一个备用,尽量好上手。 测试环境 MacOS 10.13.1 Python2.7.x python gettext doc ...

2018-03-26 23:31:26

阅读数:547

评论数:0

Python 中 time模块 time.time() 是不是系统调用

事情是这样的,最近公司自己定义了一个api规范,其中有一部分是请求时候用时间戳做 md5摘要。 然后我看到领导在文档中说 python 的 time.time() 是系统系统调用,调用的消耗太大,md5摘要中不用时间戳,而是用其他的字段。 于是我就不太相信这个说法。 线上的环境一般是 CentOS...

2017-07-09 16:30:39

阅读数:1525

评论数:0

python logging模块 init格式配置传递参数

Python项目中,logging模块的配置使用了 ini 这种配置,也叫做 fileconfig 配置,然后不想把存放 log 文件的目录 硬编码。抽象出来就是怎么给 init 格式配置文件传递参数。 利用 fileConfig 中的 defaults 参数可以实现 文档地址py文件import...

2017-07-05 15:29:57

阅读数:888

评论数:0

Python date 类型转 datetime 类型

datetime to date在 Python 中,通过 datetime 获取到日志的 date 类型比较简单, datetime 提供了 date() 方法In [1]: from datetime import datetime In [2]: help(datetime.date)In ...

2017-06-22 11:12:51

阅读数:2050

评论数:0

Python使用pycrypto进行RSA长字符串加密

Python RSA 长字符串加密标签(空格分隔): 未分类 今天有位群友在 “Python那点事” 群里问到了一个使用 pycrypto 进行rsa报错的问题。 问题使用 pycrypto 进行 rsa 加密解密,padding模式是 RSA_PKCS1_PADDING, 加密比较短的字符串...

2017-06-09 17:00:43

阅读数:8791

评论数:4

Python 处理微信网页版消息中的emoji表情在命令行中显示

找了一个基于微信网页版API的微信机器人,主要在命令行中使用,然后发现消息中的表情都变成了 html的标签啊,然而想让表情正常在控制台显示,就有了下面的代码。 问题因为我的微信名称中有emoji表情,收到的消息是这样的 4739723278617112577 orangleliu<span ...

2017-04-07 21:11:47

阅读数:3359

评论数:0

django 中 MySQL: "Field 'id' doesn't have a default value" 错误

有一个比较老的表,使用innodb引擎,但是之前的表设计中没有使用自增ID,而是使用了类似UUID的字段作为主键,后来导致整个索引碎片很严重,影响查询效率。 新上线的系统也用了这个表,由于表已经存在了就通过 Alter 语句直接删除了原来的UUID主键,新建了一个自增ID主键。 结果在修改之后出...

2017-03-29 16:24:50

阅读数:1663

评论数:0

Python string中删除(过滤)掉emoji表情字符

最近做了一个需求,把公众号的用户信息同步到服务端,发现很多用户的昵称里面都有表情符号(emoji), 一般的处理方式是把MySQL的编码改成 utf8mb4,后来讨论了下,这些表情也没什么用,入库的时候直接删除就好了。 Python怎么过滤 emoji表情符号呢? 下面是剔除表情字符串的代码片段...

2017-03-28 10:25:36

阅读数:12466

评论数:0

[问答]Python 打开多个文件怎么使用 "with open"

来源 osf How can I open multiple files using “with open” in Python? python 中比较 pythonic 打开文件的方法是用 with open,如果一次打开多个文件,怎么写比较优雅呢?python2.7 和之后的版本中,例如同时打...

2017-03-24 22:14:01

阅读数:4396

评论数:0

Python requests 报错解决集锦

一台老Centos机器上跑着古老的应用,加了一个新模块之后报错 /usr/lib/python2.6/site-packages/requests/packages/urllib3/util/ssl_.py:132: InsecurePlatformWarning: A true SSLConte...

2017-03-14 10:16:18

阅读数:7304

评论数:0

查找python项目依赖并生成requirements.txt

一起开发项目的时候总是要搭建环境和部署环境的,这个时候必须得有个python第三方包的list,一般都叫做requirements.txt。 如果一个项目使用时virtualenv环境,还好办 pip freeze 就可以解决,但是如果一个项目的依赖list没有维护,而且又是环境混用,那就不好整理...

2017-03-09 13:27:59

阅读数:25375

评论数:0

一种比较简单的web端SSO方案

这是种比较简单易行单点登录(SSO Single sign-on方案,只有auth token,没有request token,自己家的系统集成提供一点思路。文章的阅读对象需要比较熟悉web开发,因为省去了很多前置知识。 认证流程单点登录的几个角色,单点登录服务(center), 接入的应用叫做客...

2017-02-25 18:50:58

阅读数:1921

评论数:0

Python logging 模块和使用经验

记录下常用的一些东西,每次用总是查文档有点小麻烦。 py2.7 日志应该是生产应用的重要生命线,谁都不应该掉以轻心 有益原则级别分离日志系统通常有下面几种级别,看情况是使用 FATAL - 导致程序退出的严重系统级错误,不可恢复,当错误发生时,系统管理员需要立即介入,谨慎使用。 ERROR ...

2016-12-27 16:13:00

阅读数:9201

评论数:2

Python中使用rrdtool结合Django进行带宽监控

我们有个网关需要做下带宽监控,能获取这个数据的唯一方法就是登录到管理界面查看。然后咱就写了个模拟登录的爬虫,定时抓取数据用rrdtool存储,最后通过Django来展示。这里就涉及了python的rrdtool,还有django怎么生成rrdtool这两个事。 rrdtool怎么使用的不细说了,比...

2016-10-18 17:56:25

阅读数:2031

评论数:0

基于WAMP的Crossbario 安装入门

简单学习和使用WAMP协议,Router 是crossbario, Client是Autobahn, 了解运作的流程。 测试环境是Centos6 虚拟机一台 目录为 /data/wamp/ ,用的是Python 2的版本,主要就是参考文档(其他地方也没有什么资料) WAMP 协议的介绍,这个必须...

2016-08-18 18:36:34

阅读数:1265

评论数:0

Python和shell中Base64编码使用那些事

做开发第一个接触的编码方式就是Base64,当时是用url来传输一些参数,传输的两端会用Base64来编码和解码,保证数据不被url转义破坏。 下面是 维基百科 Base64 中的介绍,其实自己实现起来也不是很麻烦。 Base64 是一种基于64个可打印字符来表示二进制数据的表示方法。由于2...

2016-05-19 19:40:59

阅读数:3766

评论数:0

提示
确定要删除当前文章?
取消 删除