最近在学习崔庆才老师著作的《python3 网络爬虫开发实战》,对爬取猫眼排名榜前100电影的讲解案例,产生一些小想法,结合pandas 在数据分析方面的应用,给出以下学习笔记,作为rockyliu学习爬虫成长道路上的one small step.
话不多说,先汇总本次爬取的目标:
- 1)获取猫眼排名榜前100电影
- 2)获取前100电影图片存放在本地
- 3)获取前100电影的英文名称
- 4)通过百度百科获取电影区域归属
- 5)展示前100电影的上映时间分布
- 6)展示参演频率最高的前5位演员及所参演电影
是不是感觉rockyliu有点贪,让我们拭目以待吧。
实现目标1:获取猫眼排名榜前100电影
先上效果图:
如效果图,通过爬虫代码,从猫眼电影排行榜上,获取前100的电影的相关信息(排名/电影海报地址/电影名/主演/上映时间/评分)。接下来上代码,供大家参考学习:
import requests
import re
import time
from requests.exceptions import RequestException
import pandas as pd
#先定义一个获取网站源代码的方法
def get_one_page(url):
#使用try方法,防止程序中断报错
try:
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
response = requests.get(url,headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
# rockyliu 偏好 写出print('wrong1:获取一个网站源代码出错'),便于快速查找问题
#定义一个对源代码解析,并利用正则表达式获取想要的值,再结合pandas库,生成pandas.DataFrame数据
def parse_one_page(html):
#该处的正则表达式,可能会随着时间推移而改变,若报错,请读者自行更新哟
pattern = re.compile(
'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
items = re.findall(pattern,html)
pf = pd.DataFrame()
for item in items:
a = [item[0],item[1],item[2].strip(),item[3].strip()[3:] if len(item[3])>3 else '',item[4].strip()[5:] if len(item[4])>5 else '',item[5].strip()+item[6].strip()]
#需要注意item[5]代表评分整数,item[6]代表评分小数,因此合计评分要两者相加
pf_ = pd.DataFrame(a)
pf = pd.concat([pf,pf_.T]) #要注意pf_.T,即转置小细节,否则会报错哟
yield pf
'''通过yield函数生成一个汇总的pd.DataFrame数据(小细节,yield 只能存在函数表达式中(def balaba:),否则就会出现outside function报错 )
'''
#定义一个写入文档函数:
def write_to_file(offset):
url = 'https://maoyan.com/board/4?offset='+str(offset)
html = get_one_page(url)
for item in parse_one_page(h