python
文章平均质量分 59
禁之子
敬往事一杯酒
展开
-
python下pymysql的问题
本文和上篇的seaweedfs的使用有丝丝关联,还是在下图的时候遇到的,之前已经把图片url保存到mysql了,然后需要从数据库读出来并且request并push到seaweedfs上,在这个过程中遇到过一个问题,就是我在多个进程中对数据库进行操作。问题来源是,我们当前数据库数据有600万数据,所以无法一次性读出来去请求下载,所以需要每次读取一个batch然后再下载;我的策略主要是使用mast原创 2017-06-12 19:41:51 · 332 阅读 · 0 评论 -
纯属记录一下 scrapy环境配置--基于python3.4
1.The program 'pip3' is currently not installedapt-get updateapt-get install python3-pip2.fatal error: Python.h: No such file or directoryapt-get install python3-dev3.apt-get insta原创 2017-07-25 09:56:16 · 871 阅读 · 1 评论 -
python3的文件编码问题
最近手头要做一下文本过滤的相关,于是涉及到这个问题。因为用到wordmaker来生成字典,但是呢,wordmaker的input file目前只支持gbk编码。所以,做的时候就遇到了文件编码转换的问题。最初的解决方法是直接指定文件的编码,open(file_name, 'w', encoding='gbk'),随手跑了下发现可以的。但是跑全量的时候挂掉了,然后回头看的时候,发现有些数据里面不仅原创 2018-01-11 16:23:47 · 6807 阅读 · 0 评论 -
python库build的那堆事儿之彩笔的划水历程
虽然写了快一年python了,但是一直对python并不熟悉,尤其是各种包什么的,太乱了。今天记录一下python三方库build安装时候的一堆事儿吧。 最初遇到这个问题是出于项目需要,项目组大牛写了个库,开始的时候是把他的环境所在盘挂载到我的服务器上。后来有天呢,我的服务器出问题了,盘被umount了,然后我的程序就没法跑了,一想这不行呀,还是自己build一个吧。然后就去他的git上把c原创 2018-01-26 11:19:32 · 300 阅读 · 0 评论