小白菜的python爬虫学习笔记（一）

Requests

（自动爬取HTML页面,自动网络请求提交）

安装: pip install requests
测试 :

import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)      #此行是测试访问地址是否可访问，返回200则表示接受访问

robots.txt

（网络爬虫排除标准）

Beautiful Soup

（ 解析HTML页面）

Re

（正则表达式详解，提取页面关键信息）

Scrapy

（网络爬虫原理介绍，专业爬虫框架介绍）

本文根据北理爬虫崇天老师的课程所做笔记