学习python爬虫第一天

‘’‘请求网页数据’’’
import requests # 调入需要的库requests
from bs4 import BeautifulSoup#调用要使用的库bs4
#发起请求
url = ‘http://www.douban.com’ # 将变量赋值给豆瓣的网址
data = requests.get(url) # 利用requests库的get方法，向此URL发起请求，并将服务器返回的内容存入变量data
print(data) # 打印服务器返回的内容。从打印内容看，被反爬

‘’‘设置UA伪装’’’
url = ‘http://book.douban.com/latest’
#headers里大小写均可
headers = {‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 Edg/83.0.478.58’}
data = requests.get(url,headers=headers)#设置headers，以参数形式传入requests的get函数进行伪装，headers是字典的形式
print(data.text)

‘’‘解析数据’’’
soup = BeautifulSoup(data.text,‘lxml’)#将网页数据转化为BeautifulSoup对象，并将这个对象命名为soup
print(soup)