- 博客(5)
- 资源 (3)
- 收藏
- 关注
原创 关于asyncio的ValueError: too many file descriptors in select()错误
最近写爬虫用asyncio+aiohttp的形式,代码如下:import aiohttpimport asyncioheaders = { "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
2017-08-22 17:02:21 7944 7
原创 aiohttp遇到非法字符的处理(UnicodeDecodeError: 'utf-8' codec can't decode bytes in position......)
这个问题困扰了我将近一天时间,如果使用text()函数会一直报“UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 24461-24462: invalid continuation byte”的错误,如果使用read()函数以二进制输出在后面解析的时候中文是乱码,网上查了很多资料,主要也是自己的疏忽自己看了源码,一直纠
2017-08-21 16:43:52 26733 3
原创 仿scrapy的爬虫框架 (python3.5以上模块化,需要支持async/await语法)
目录结构:WebCrawler |----common(通用模块) |----__init__.py |----email_manager.py(邮件管理) |----error_code.py(错误码管理) |----html_manager.py(html页面的redis管理) |----i
2017-08-18 08:59:08 1120
原创 自制搜索(elasticsearch安装,mongo-connector同步数据,python操作)
做一个搜索,以es为基础,数据存在mongodb1:Elasticsearch下载:elasticsearch下载地址https://www.elastic.co/downloads/elasticsearch安装:修改elasticsearch-5.5.1/config/elasticsearch.yml# 集群名称cluster.name: myElast
2017-08-13 18:24:44 1385
原创 《javascrip编程精解》第二版习题练习(未完,根据自己学习进度更新)
第二章:1:LoopinaTriangle编写一个循环,调用7次console.log打印三角形############################var xx="";for(var b=1;b<=7;b++){ xx = xx+"#" console.log(xx)}2.1:FizzBuzz编写一个程序,使用console.lo
2017-08-01 16:41:19 1033
截图翻译python版
2022-05-14
javascript标准参考教程_阮一峰
2017-10-17
自制简单的java练习题系统(包含原码和exe4j打包的exe文件)
2014-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人