python基础知识
文章平均质量分 64
搬砖先锋
这个作者很懒,什么都没留下…
展开
-
简单分布式爬虫-windows环境
创建服务进程1.建立队列Queue,用来进行进程间通信2.把第一步建立的队列在网络上注册,暴露给其他进程(主机),注册后获得网络队列,相当于本地队列的映像3.建立一个对象(Queuemanager(BaseManager))实例manager,绑定端口和验证口令4.启动第三步中建立的实例,即启动管理manager, 监管信息通道5. 通过管理实例的方法获得通过网络访问的Queue 对象,即再把网络...原创 2018-06-26 18:23:14 · 544 阅读 · 0 评论 -
python3.6 运行monkey.patch_all()报错问题
在最新的python3.6中使用协程,启用gevent时,可能会出现警告,代码如下:import gevent from gevent import monkey monkey.patch_all() # monkey.patch_socket() # monkey.patch_ssl() import urllib.request def run_task(url): print("...原创 2018-06-26 16:23:16 · 8357 阅读 · 3 评论 -
列表内字典根据元素去重
from collections import OrderedDict# 已有列表a,根据字典内的name进行去重操作a = [{'name':'lilei','age':'18'},{'name':'tom','age':'16'},{'name':'lilei','age':'20'}]b = OrderedDict()for item in a: b.setdefault(item[...原创 2018-06-22 17:04:54 · 3124 阅读 · 0 评论 -
python3去掉字符串‘\xa0’
爬取网页信息时, 经常会遇到“ "字符串, 这是不间断空格符。 我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 (ISO/IEC_8859-1)中的扩展字符集字符,代表空白符nbsp(non-breaking space)。 latin1 字符集向下兼容 ASCII ( 0x20~0x7e )。 解决方...原创 2019-07-29 10:14:32 · 1201 阅读 · 0 评论