3.3解析内容
对爬取的html文件进行解析
解析页面内容:
(1)使用BeautifulSoup定位特定的标签位置
(2)使用正则表达式找到具体的内容
初步打印top250
#-*- coding =utf-8 -*-
#@Time : 2022/3/11 21:45
#@Author :B20040606李香悦
#@File : demo11.py
#@Software:PyCharm
from bs4 import BeautifulSoup #网页解析,获取数据
import re #正则表达式,进行文字匹配
import urllib.request,urllib.error #制定URL,获取网页数据
import xlwt #进行excel操作
import sqlite3 #进行SQLite数据库操作
def main():
baseurl = "https://movie.douban.com/top250?start="
#1.爬取网页
datalist = getData(baseurl)
savepath = ".\\豆瓣电影top250.xls"
#3.保存数据
#saveData(savepath)
# askURL("https://movie.douban.com/top250?start=")
#爬取网页
def getData(baseurl):
datalist = []
for i in range(0,1): #左闭右开[0,10),调用获取页面信息的函数,10次
url = baseurl + str(i*25)
html = askURL(url) #保存获取到的网页源码
# 2.逐一解析数据
soup = BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_="item"):
#查找符合要求的字符串,形成列表,class是类别,要加下划线
print(item)
return datalist
#得到指定一个URL的网页内容
def askURL(url):
head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.36"}
#head模拟浏览器头部信息,向豆瓣服务器发送消息
#User-Agent 用户代理,表示告诉豆瓣服务器我们是什么类型的机器,浏览器(本质上是告诉浏览器我们可以接受什么水平的文件内容)
request=urllib.request.Request(url,headers=head)
html=""
try:
response=urllib.request.urlopen(request)
html=response.read().decode("utf-8")
# print(html)
except urllib.error.URLError as e:
if hasattr(e,"code"): #attr 标签,如果错了就打印出来
print(e.code)
if hasattr(e,"reason"):
print(e.reason)
return html
#保存数据
def saveData(savepath):
print("save...")
if __name__ =="__main__":
main()
结果和豆瓣的html形式一致。