【爬虫综合作业】猫眼电影TOP100分析

作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075

一.爬虫对象

猫眼电影TOP100排行榜

二.代码如下

 

import requests
import re,json
from lxml import etree
import csv

class Spider():
    def open_csv(self): ''' 在CSV文件的开头写一行标题 :return: ''' with open('data.csv', 'a', newline='', encoding='utf-8') as f: spamwriter = csv.writer(f) spamwriter.writerow(['名称', '主演', '上映时间', '评分']) def __get_page(self,url,headers): ''' 获取文本内容 :param url: :param headers: :return: ''' try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: return None except Exception: return None def __parse_page(self,html): ''' 解析HTML，并得到提取的数据 :param html: :return: ''' data = etree.HTML(html) results = data.xpath('//*[@class="board-wrapper"]/dd/div/div') for result in results: # 电影名称 电影主演 电影上映日期 评分 ws = [ result.xpath('./div[1]/p[1]/a/text()')[0], result.xpath('./div[1]/p[2]/text()')[0].strip(), result.xpath('./div[1]/p[3]/text()')[0], result.xpath('./div[2]/p/i[1]/text()')[0] + result.xpath('./div[2]/p/i[2]/text()')[0], ] #保存到CSV with open('data.csv', 'a', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(ws) def run(self): ''' 程序运行入口 :return: ''' self.open_csv() for i in range(11): url ='http://maoyan.com/board/4?offset={}'.format(10*i) headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)' ' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } html = self.__get_page(url,headers) self.__parse_page(html) #实例化类 spider = Spider() spider.run()

三.运行结果

 

四.数据分析

（1）电影评分比例

一部电影质量由评分能直接体现出来，而总体评分分布能体现出播放器的质量。

由上图看出8.8-9.1分数的电影比较多，所以猫眼电影的质量还是可以的。

（2）电影的成功除了质量之外，发布的时间也是很重要的。

大家看电影都知道，电影基本在假期上映更有热度，这里统计出来，发现下半年的电影比上半年电影好很多。

（3）通过数据透视表可以看出，在猫眼电影TOP100排行榜中，有一部由周星驰主演的《大话西游之月光宝盒》评分远远超过其他的电影，看来星爷的经典难以被超越

 

转载于:https://www.cnblogs.com/timchan/p/10785586.html