python爬虫爬取网页内容

1.导入requests、BeautifulSoup库。

一、

import requests

r=requests.get("http://www.baidu.com")#使用get函数打开百度

print(r) #返回状态

r.encoding='utf-8'#中文字符可以输出

print(r.text)

二、
import requests
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com")
print(r)  #返回状态 
r.encoding="utf-8"
soup=BeautifulSoup(r.text) #soup是beautifulsoup的一个对象
type(soup)

2.将需要爬取网页的网址复制粘贴。

3.从网络上获取网页内容（爬取过程中加上头信息），

    假如有反爬虫机制，则需要用header进行伪装   （如何寻找header：1.网页、右键、查看源代码

                                        2.网页、右键、network、名称、标头）

4.分析网页结构，从中抓取需要内容：1.定义函数

                                                             2.找到所有tr标签

                                                             3.在每个tr标签中找td标签

                                                             4.获得td标签的信息

      对内容进行筛选，去除无关内容。

5.利用数据结构展示或进一步处理数据，使数据展示更清晰明了。