python
flyflyfly55555
这个作者很懒,什么都没留下…
展开
-
python 解析unicode字符串为utf8编码字符串
php返回的json字符串如果包含中文,则会被转换成\uxx格式的unicode编码字符串返回。在浏览器中能正常识别这种编码,但是后台程序却不能识别,直接输出显示的是\uxx的字符,并未进行转码。 转换方式如下 >>> import json>>> q = '{"text":"\u4e00\u4ee3\u98ce\u534e\u76...2012-05-20 20:24:42 · 573 阅读 · 0 评论 -
python 获取图片验证码中文字
根据现成的开源项目 http://code.google.com/p/pytesser/改写在window上用easy_install安装不上 看了下源码发现代码很少 于是就想自己改写一下 添加支持网络图片的直接解析 #coding:utf-8 #import sys #reload(sys) #sys.setdefaultencoding('utf-8'...2012-05-30 12:49:08 · 536 阅读 · 0 评论 -
Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误
Scrapy版本0.14.4出现问题现象:ERROR: Error downloading <GET http://xxxxx CRC check failed 解决方法 1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0' 明确表示不支持任何形式的压缩格式,避免程序的解压缩操作这个方法不一定有效,具体根据服...2012-06-19 19:40:33 · 458 阅读 · 0 评论 -
使用Scrapy时出现虽然队列里有很多Request但是却不下载,造成假死状态
现象就是:程序运行一段时间,可能是几十分钟或者几个小时,然后后台日志里面就不出现下载页面的信息,一直显示上一分钟抓取了0个网页的信息。刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成,但是水平有限研究源码未果。经过不停的google终于发现一个有价值的信息,是给twisted提出的一个bugfix连接地址如下http://twistedmatrix....原创 2012-08-16 23:36:39 · 861 阅读 · 0 评论 -
通过定时任务执行mysql的定期删除和新建分区,此处是按日分区
使用python脚本作为命令脚本,linux的定时任务来每天定时执行#!/usr/bin/python# -*- coding: utf8 -*-import pymysqlimport datetimeimport calendar#要分区的表table_name = 'my_table'#连接数据库的信息host,user,passwd,db = ...2012-09-10 10:54:22 · 440 阅读 · 1 评论