基于Python的网络爬虫——猫眼电影TOP100

完整代码 

import pandas as pd
import requests
from fake_useragent import UserAgent
from lxml import etree

df_movies = pd.DataFrame(columns=['排名', '片名', '主演', '上映时间', '评分'])

base_url = 'https://maoyan.com/board/4?offset={}'

headers = {
    'Referer': 'https://www.maoyan.com/board/4?requestCode=ed21bcc89b9563c594bb6ac5ef545ea9unret&offset=0',
    'Cookie': '__mta=146207627.1686117814768.1686117814768.1686117893405.2; uuid_n_v=v1; '
              'uuid=08C5265004F911EEB6A41DA4355E52ADF4145C449C124065972A22585426BE66; '
              '_csrf=c148b36a5e0a6001e7ecf1be0781da0d361ad0685e85dfd07aa720ef75e793ff; '
              '_lxsdk_cuid=18894741140c8-06f50454e820c5-26031d51-144000-18894741140c8; '
              '_lxsdk=08C5265004F911EEB6A41DA4355E52ADF4145C449C124065972A22585426BE66; '
              'Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1686117815; '
              'Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1686117893; _lxsdk_s=18894741140-900-e76-d5e%7C%7C4',
    'User-Agent': UserAgent().random
}

for page in range(10):
    url = base_url.format(str(page * 10))
    response = requests.get(url, headers=headers)
    html = response.text
    xp = etree.HTML(html)
    movies = xp.xpath('//*[@id="app"]/div/div/div[1]')

    for movie in movies:
        for num in range(10):
            ranking = movie.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/i/text()')[num]
            name = movie.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[1]/a/text()')[num]
            actors = movie.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[2]/text()')[num].strip().replace(
                "主演：", "")
            release_time = movie.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[1]/p[3]/text()')[num].replace(
                "上映时间：",
                "")
            score1 = movie.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[2]/p/i[1]/text()')[num]
            score2 = movie.xpath('//*[@id="app"]/div/div/div[1]/dl/dd/div/div/div[2]/p/i[2]/text()')[num]
            score = score1 + score2
            df_movies = df_movies._append(
                {'排名': ranking, '片名': name, '主演': actors, '上映时间': release_time, '评分': score},
                ignore_index=True)

df_movies.to_csv("MaoYanTop100.csv", index=False)

---

表格化的CSV文件内容

排名	片名	主演	上映时间	评分
1	我不是药神	徐峥,周一围,王传君	2018-07-05	9.6
2	肖申克的救赎	蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿	1994-09-10(加拿大)	9.5
3	海上钢琴师	蒂姆·罗斯,比尔·努恩 ,克兰伦斯·威廉姆斯三世	2019-11-15	9.3
4	绿皮书	维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼	2019-03-01	9.5
5	霸王别姬	张国荣,张丰毅,巩俐	1993-07-26	9.4
6	美丽人生	罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克	2020-01-03	9.3
7	这个杀手不太冷	让·雷诺,加里·奥德曼,娜塔莉·波特曼	1994-09-14(法国)	9.4
8	小偷家族	中川雅也,安藤樱,松冈茉优	2018-08-03	8.1
9	哪吒之魔童降世	吕艳婷,囧森瑟夫,瀚墨	2019-07-26	9.6
10	怦然心动	玛德琳·卡罗尔,卡兰·麦克奥利菲,艾丹·奎因	2010-07-26(美国)	8.9
11	星际穿越	马修·麦康纳,安妮•海瑟薇,杰西卡·查斯坦	2014-11-12	9.3
12	盗梦空间	莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特	2010-09-01	9.0
13	泰坦尼克号	莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩	1998-04-03	9.6
14	阿甘正传	汤姆·汉克斯,罗宾·怀特,加里·西尼斯	1994-07-06(美国)	9.4
15	楚门的世界	金·凯瑞,劳拉·琳妮,诺亚·艾默里奇	1998(罗马尼亚)	8.9
16	千与千寻	柊瑠美,周冬雨,井柏然	2019-06-21	9.3
17	触不可及	弗朗索瓦·克鲁塞,奥马·希,安娜·勒尼	2011-11-02(法国)	9.1
18	辛德勒的名单	连姆·尼森,拉尔夫·费因斯,本·金斯利	1993-11-30(美国)	9.2
19	寻梦环游记	安东尼·冈萨雷斯,本杰明·布拉特,盖尔·加西亚·贝纳尔	2017-11-24	9.6
20	情书	中山美穗,丰川悦司,酒井美纪	1999-03-01	8.9
21	少年派的奇幻漂流	苏拉·沙玛,伊尔凡·可汗,塔布	2012-11-22	9.0
22	何以为家	赞恩·阿尔·拉菲亚,约丹诺斯·希费罗,博鲁瓦蒂夫·特雷杰·班科尔	2019-04-29	9.3
23	摔跤吧！爸爸	阿米尔·汗,沙克希·坦沃,法缇玛·萨那·纱卡	2017-05-05	9.8
24	忠犬八公的故事	Forest,理查·基尔,琼·艾伦	2009-06-13(美国)	9.3
25	放牛班的春天	热拉尔·朱诺,弗朗西斯·贝尔兰德,凯德·麦拉德	2004-10-16	9.5
26	小丑	杰昆·菲尼克斯,罗伯特·德尼罗,亚历克·鲍德温	2019-10-04(美国)	8.6
27	当幸福来敲门	威尔·史密斯,贾登·史密斯,坦迪·牛顿	2008-01-17	9.3
28	天堂电影院	菲利浦·诺瓦雷,雅克·贝汉,马克·莱昂纳蒂	2021-06-11	9.3
29	三傻大闹宝莱坞	阿米尔·汗,卡琳娜·卡普,马德哈万	2011-12-08	9.1
30	熔炉	孔刘,郑裕美,金智英	2011-09-22(韩国)	8.8
31	你的名字。	上白石萌音,佟心竹,神木隆之介	2016-12-02	9.2
32	看不见的客人	马里奥·卡萨斯,阿娜·瓦格纳,何塞·卡罗纳多	2017-09-15	9.4
33	活着	葛优,巩俐,牛犇	1994-05-17(法国)	9.0
34	教父	马龙·白兰度,阿尔·帕西诺,詹姆斯·凯恩	1972-03-14(美国)	9.3
35	死亡诗社	罗宾·威廉姆斯,伊桑·霍克,罗伯特·肖恩·莱纳德	1989-06-02(加拿大)	8.7
36	头号玩家	泰伊·谢里丹,奥利维亚·库克,本·门德尔松	2018-03-30	9.0
37	龙猫	秦岚,糸井重里,岛本须美	2018-12-14	9.2
38	被嫌弃的松子的一生	中谷美纪,永山瑛太,伊势谷友介	2006-05-27(日本)	8.5
39	闻香识女人	阿尔·帕西诺,克里斯·奥唐纳,加布里埃尔·安瓦尔	1992-12-23(美国)	8.8
40	疯狂动物城	金妮弗·古德温,杰森·贝特曼,伊德瑞斯·艾尔巴	2016-03-04	9.5
41	三块广告牌	弗兰西斯·麦克多蒙德,伍迪·哈里森,山姆·洛克威尔	2018-03-02	8.6
42	末代皇帝	尊龙,陈冲,彼得·奥图尔	1987-10-04(日本)	8.8
43	心灵奇旅	杰米·福克斯,蒂娜·菲,菲利西亚·拉斯海德	2020-12-25	9.2
44	机器人总动员	本·贝尔特,艾丽莎·奈特,杰夫·格尔林	2008-06-27(美国)	9.3
45	超脱	阿德里安·布劳迪,马西娅·盖伊·哈登,詹姆斯·凯恩	2011-04-25(美国)	8.7
46	西西里的美丽传说	莫妮卡·安娜·玛丽亚·贝鲁奇,朱塞佩·苏尔法罗,玛蒂尔德·皮亚纳	2000-10-26 00:00:00(意大利)	8.2
47	海蒂和爷爷	阿努克·斯特芬 ,布鲁诺·甘茨,昆林·艾格匹	2019-05-16	9.5
48	本杰明·巴顿奇事	布拉德·皮特,凯特·布兰切特,塔拉吉·P·汉森	2008-12-25(美国)	8.8
49	让子弹飞	姜文,周润发,葛优	2010-12-16	8.5
50	一一	吴念真,金燕玲,李凯莉	2017-07-28(中国台湾)	8.9
51	海边的曼彻斯特	卡西·阿弗莱克,卢卡斯·赫奇斯,米歇尔·威廉姆斯	2017-08-25	8.8
52	布达佩斯大饭店	拉尔夫·费因斯,托尼·雷沃罗利,西尔莎·罗南	2014-02-06(德国)	8.7
53	阿凡达	萨姆·沃辛顿,佐伊·索尔达娜,米歇尔·罗德里格兹	2010-01-04	9.4
54	美国往事	罗伯特·德尼罗,詹姆斯·伍兹,伊丽莎白·麦戈文	2015-04-23	9.1
55	美丽心灵	罗素·克劳,詹妮弗·康纳利,艾德·哈里斯	2001-12-13(美国)	8.8
56	乱世佳人	费雯·丽,克拉克·盖博,奥利维娅·德哈维兰	1939-12-15(美国)	9.1
57	搏击俱乐部	爱德华·哈里森·诺顿,布拉德·皮特,海伦娜·伯翰·卡特	1999-09-10(意大利)	8.7
58	消失的爱人	本·阿弗莱克,裴淳华,尼尔·帕特里克·哈里斯	2014-09-26(美国)	8.7
59	复仇者联盟4：终局之战	小罗伯特·唐尼,克里斯·埃文斯,马克·鲁法洛	2019-04-24	9.1
60	爱在黎明破晓前	伊桑·霍克,朱莉·德尔佩,安德莉亚·埃克特	1995-01-27(美国)	8.7
61	窃听风暴	乌尔里希·穆埃,塞巴斯蒂安·科赫,马蒂娜·格德克	2006-03-23(德国)	9.0
62	飞屋环游记	爱德华·阿斯纳,克里斯托弗·普卢默,乔丹·长井	2009-08-04	8.9
63	低俗小说	约翰·特拉沃尔塔,乌玛·瑟曼,塞缪尔·杰克逊	1994-05-21(法国)	8.7
64	飞越疯人院	杰克·尼科尔森,路易丝·弗莱彻,威尔·萨姆森	1975-11-19(美国)	8.8
65	天使爱美丽	奥黛丽·塔图,马修·卡索维茨,吕菲斯	2001-04-25(比利时)	8.4
66	蝴蝶效应	约翰·帕特里克·阿梅多利,罗根·勒曼,卡梅隆·布莱特	2004-01-23(美国)	8.7
67	大话西游之大圣娶亲	周星驰,朱茵,莫文蔚	2014-10-24	8.8
68	天空之城	田中真弓,横泽启子,初井言荣	2023-06-01	9.5
69	无间道	刘德华,梁朝伟,黄秋生	2003-09-05	9.1
70	罗马假日	格利高里·派克,奥黛丽·赫本,埃迪·艾伯特	1953-08-20(意大利)	9.0
71	时空恋旅人	瑞秋·麦克亚当斯,多姆纳尔·格里森,比尔·奈伊	2013-09-04(英国)	8.9
72	爱在日落黄昏时	伊桑·霍克,朱莉·德尔佩,弗农·多布切夫	2015-04-20	8.7
73	春光乍泄	张国荣,梁朝伟,张震	1997-05-30(中国香港)	9.2
74	心灵捕手	罗宾·威廉姆斯,马特·达蒙,明妮·德里弗	1997-12-05(美国)	8.4
75	穿条纹睡衣的男孩	阿沙·巴特菲尔德,维拉·法梅加,大卫·休里斯	2008-08-28(英国)	9.0
76	釜山行	孔刘,郑裕美,马东锡	2016-05-13 00:00:00(法国)	8.9
77	控方证人	泰隆·鲍华,玛琳·黛德丽,查尔斯·劳顿	1957-12-17(美国)	8.5
78	七宗罪	布拉德·皮特,摩根·弗里曼,格温妮斯·帕特洛	1995-09-22(美国)	8.7
79	菊次郎的夏天	北野武,关口雄介,岸本 加世子	2020-09-25	8.8
80	重庆森林	梁朝伟,王菲,金城武	1994-07-14(中国香港)	8.6
81	猫鼠游戏	莱昂纳多·迪卡普里奥,汤姆·汉克斯,克里斯托弗·沃肯	2003-04-11	8.6
82	辩护人	宋康昊,郭度沅,吴达洙	2013-12-18(韩国)	8.8
83	入殓师	本木雅弘,广末凉子,山崎努	2021-10-29	8.6
84	花束般的恋爱	有村架纯,菅田将晖,细田佳央太	2022-02-22	8.9
85	剪刀手爱德华	约翰尼·德普,薇诺娜·瑞德,黛安娜·维斯特	1990-12-06(美国)	8.8
86	钢琴家	阿德里安·布劳迪,艾米莉娅·福克斯,米乔·赞布罗斯基	2002-05-24(法国)	8.9
87	素媛	李甄,薛景求,严智苑	2013-10-02(韩国)	9.1
88	断背山	希斯·莱杰,杰克·吉伦哈尔,米歇尔·威廉姆斯	2005-09-02(意大利)	8.9
89	饮食男女	郎雄,吴倩莲,杨贵媚	1994-08-03(美国)	8.8
90	十二怒汉	亨利·方达,李·科布,马丁·鲍尔萨姆	1957-04-13(美国)	9.1
91	蝙蝠侠：黑暗骑士	克里斯蒂安·贝尔,希斯·莱杰,阿伦·伊克哈特	2008-07-14(阿根廷)	9.3
92	两杆大烟枪	杰森·弗莱明,德克斯特·弗莱彻,杰森·斯坦森	1998-08-28(英国)	8.7
93	波西米亚狂想曲	拉米·马雷克,本·哈迪,约瑟夫•梅泽罗	2019-03-22	9.4
94	大鱼	伊万·麦克格雷格,阿尔伯特·芬尼,杰西卡·兰格	2003-12-04(美国)	8.6
95	真爱至上	休·格兰特,比尔·奈伊,连姆·尼森	2003-11-21(英国)	8.6
96	傲慢与偏见	马修·麦克费登,吉娜·马隆,妲露拉·莱莉	2008-02-10	8.4
97	模仿游戏	本尼迪克特·康伯巴奇,凯拉·奈特莉,马修·古迪	2015-07-21	9.3
98	血战钢锯岭	安德鲁·加菲尔德,雨果·维文,卢克·布雷西	2016-12-08	9.3
99	致命魔术	休·杰克曼,克里斯蒂安·贝尔,迈克尔·凯恩	2006-10-17(意大利)	8.8
100	鬼子来了	姜文,姜宏波,陈强	2000-05-13(法国)	8.9