Requests
(自动爬取HTML页面,自动网络请求提交)
安装: pip install requests
测试 :
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
robots.txt
(网络爬虫排除标准)
Beautiful Soup
( 解析HTML页面)
Re
(正则表达式详解,提取页面关键信息)
Scrapy
(网络爬虫原理介绍,专业爬虫框架介绍)
本文根据北理爬虫崇天老师的课程所做笔记