爬虫的学习

---

爬虫理解:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。

爬虫的过程

 获取数据：
通过服务器向目标站点发起请求，请求可以包含额外的header等信息，如果服务器能正常响应，会得到一个Response，便是所要获取的页面内容。
解析内容：得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析。
保存数据：保存形式多样，可以存为本地文本，也可以保存到数据库(MySQL等)

首先需要选择网址获取数据，用request库

import requests
r=requests.get("http://www.baidu.com")#使用get函数打开百度
print(r)  #返回状态 
r.encoding='utf-8'#中文字符可以输出
print(r.text)

解析内容，用beautifulsoup4

import requests
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com")
print(r)  #返回状态 
r.encoding="utf-8"
soup=BeautifulSoup(r.text) #soup是beautifulsoup的一个对象
type(soup)

保存数据

可选择保存为文本或数据库