阶段大纲
一.爬虫
1.基本操作
-登录任意网站(伪造浏览器的任何行为)
2.性能相关
-并发方案:
-异步I/O:gevent/Twisted/asyncio/aiohttp
-自定义异步IO模块
-IO多路复用:select
3.Scrapy框架
介绍:异步IO:Twisted
-基于Scrapy源码自定义爬虫框架
-使用Scrapy
二.Tornada框架(异步非阻塞)
1.Tornada的基本使用
-小示例
-自定义组件
2.Tornada源码剖析
3.自定义异步非阻塞框架 select实现
Python爬虫的阶段大纲
最新推荐文章于 2022-05-22 19:53:43 发布