- 博客(2)
- 资源 (2)
- 收藏
- 关注
原创 Scrapy 框架介绍与简单案例
一、Scrapy介绍Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求官网:http://doc.scrapy.org/en/latest中文维护站
2018-01-09 11:06:06 2777
原创 BeautifulSoup4介绍与登录知乎案例
一 、BeautifulSoup4介绍和lxml一样,Beautiful Soup 也是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据lxml 只会局部遍历,而Beautiful Soup 是基于HTML DOM的,会载入整个文档,解析整个DOM树,因此时间和内存开销都会大很多,所以性能要低于lxmlBeautifulSoup 用来解析 HTML 比较简单,
2018-01-01 23:56:24 1201
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人