Asyncpy
文章平均质量分 86
Asyncpy是基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,用于抓取web站点并从页面中提取结构化的数据。
考古学家lx(李玺)
[ 笃信仁厚 , 慎思勤勉 ] 《爬虫逆向进阶实战》作者
展开
-
Asyncpy协程爬虫框架
Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,采用了scrapy的设计模式,参考了github上一些开源框架的处理逻辑。github: https://github.com/lixi5338619/asyncpypypi: https://pypi.org/project/asyncpy/安装需要的环境python版本需要 >=3.6依赖包: [ ‘lxml’, ‘parsel’,‘docopt’, ‘aiohttp’]如果安装报错:ERROR:原创 2020-05-23 01:52:51 · 6053 阅读 · 11 评论 -
Asyncpy使用文档 Demo
Asyncpy使用文档原创 2020-05-24 23:33:23 · 2719 阅读 · 7 评论 -
当我遇到钓鱼网站
发现钓鱼网站我平时会刷一会儿微博,看看当前热门数据。前天的时候在热门微博里看到了一则广告 <6月幸运召唤师抽奖> ,身为一个从s3开始入手的老玩家,没有丝毫犹豫直接从链接点了进去。身为程序员的我,近些年也算是浏览大千网站,打开网页的第一时间就感觉有些不对。经过确认,该网站为钓鱼网站,直接从微博像官方账号进行了反馈,也在12321进行了网站举报。并没有这么简单然而今天洽过午饭之后,打开微博发现事情并没有这么简单,该网站还是钓到了很多人微博的超链接标签看不到详细的url,所以很多使用原创 2020-06-08 17:31:53 · 4333 阅读 · 13 评论