python爬虫爬取豆瓣电影top250信息

1：爬取内容网址：豆瓣电影 Top 250https://movie.douban.com/top250

2写代码

import requests
from bs4 import BeautifulSoup
import pandas as pd


def fetch_movie_data(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    movie_list = soup.find_all('div', class_='item')

    movies = []
    for movie in movie_list:
        title = movie.find('span', class_='title').text
        rating = movie.find('span', class_='rating_num').text
        stars = movie.find('span', class_='rating_num').find_next_siblings('span')



        quote = movie.find('span', class_='inq')
        quote_text = quote.text if quote else ''
        movies.append([title, rating, stars,quote_text])

    return movies


def main():
    base_url = 'https://movie.douban.com/top250'
    all_movies = []

    for start in range(0, 250, 25):
        url = f'{base_url}?start={start}'
        all_movies.extend(fetch_movie_data(url))

    df = pd.DataFrame(all_movies, columns=['Title', 'Rating','stars', 'Quote'])
    df.to_excel('douban_top250_movies.xlsx', index=False)
    print(df)
    print("数据已成功保存到 douban_top250_movies.xlsx 文件中")


if __name__ == '__main__':
    main()

3：查看爬取结果

4:在xlsx中查看爬取的信息

Title	Rating	Quote
肖申克的救赎	9.7	希望让人自由。
霸王别姬	9.6	风华绝代。
阿甘正传	9.5	一部美国近现代史。
泰坦尼克号	9.5	失去的才是永恒的。
千与千寻	9.4	最好的宫崎骏，最好的久石让。
美丽人生	9.5	最美的谎言。
这个杀手不太冷	9.4	怪蜀黍和小萝莉不得不说的故事。
星际穿越	9.4	爱是一种力量，让我们超越时空感知它的存在。
盗梦空间	9.4	诺兰给了我们一场无法盗取的梦。
楚门的世界	9.4	如果再也不能见到你，祝你早安，午安，晚安。
辛德勒的名单	9.5	拯救一个人，就是拯救整个世界。
忠犬八公的故事	9.4	永远都不能忘记你所爱的人。
海上钢琴师	9.3	每个人都要走一条自己坚定了的路，就算是粉身碎骨。
三傻大闹宝莱坞	9.2	英俊版憨豆，高情商版谢耳朵。
放牛班的春天	9.3	天籁一般的童声，是最接近上帝的存在。
机器人总动员	9.3	小瓦力，大人生。
疯狂动物城	9.2	迪士尼给我们营造的乌托邦就是这样，永远善良勇敢，永远出乎意料。
无间道	9.3	香港电影史上永不过时的杰作。
控方证人	9.6	比利·怀德满分作品。
大话西游之大圣娶亲	9.2	一生所爱。
熔炉	9.3	我们一路奋战不是为了改变世界，而是为了不让世界改变我们。
教父	9.3	千万不要记恨你的对手，这样会让你失去理智。
触不可及	9.3	满满温情的高雅喜剧。
寻梦环游记	9.1	死亡不是真的逝去，遗忘才是永恒的消亡。
当幸福来敲门	9.2	平民励志片。
末代皇帝	9.3	“不要跟我比惨，我比你更惨”再适合这部电影不过了。
龙猫	9.2	人人心中都有个龙猫，童年就永远不会消失。
哈利·波特与魔法石	9.2	童话世界的开端。
怦然心动	9.1	真正的幸福是来自内心深处。
活着	9.3	张艺谋最好的电影。
蝙蝠侠：黑暗骑士	9.2	无尽的黑暗。
指环王3：王者无敌	9.3	史诗的终章。
我不是药神	9.0	对我们国家而言，这样的电影多一部是一部。
乱世佳人	9.3	Tomorrow is another day.
飞屋环游记	9.1	最后那些最无聊的事情，才是最值得怀念的。
哈尔的移动城堡	9.1	带着心爱的人在天空飞翔。
素媛	9.3	受过伤害的人总是笑得最开心，因为他们不愿意让身边的人承受一样的痛苦。
让子弹飞	9.0	你给我翻译翻译，神马叫做TMD的惊喜。
十二怒汉	9.4	1957年的理想主义。
海蒂和爷爷	9.3	如果生活中有什么使你感到快乐，那就去做吧！不要管别人说什么。
何以为家	9.1	凝视卑弱生命，用电影改变命运。
猫鼠游戏	9.1	骗子大师和执著警探的你追我跑故事。
天空之城	9.2	对天空的追逐，永不停止。
摔跤吧！爸爸	9.0	你不是在为你一个人战斗，你要让千千万万的女性看到女生并不是只能相夫教子。
鬼子来了	9.3	对敌人的仁慈，就是对自己残忍。
少年派的奇幻漂流	9.1	瑰丽壮观、无人能及的冒险之旅。
钢琴家	9.3	音乐能化解仇恨。
指环王2：双塔奇兵	9.2	承前启后的史诗篇章。
大话西游之月光宝盒	9.0	旷古烁今。
死亡诗社	9.2	当一个死水般的体制内出现一个活跃的变数时，所有的腐臭都站在了光明的对面。
闻香识女人	9.1	史上最美的探戈。
绿皮书	8.9	去除成见，需要勇气。
大闹天宫	9.4	经典之作，历久弥新。
罗马假日	9.1	爱情哪怕只有一天。
黑客帝国	9.1	视觉革命。
指环王1：护戒使者	9.1	传说的开始。
教父2	9.3	优雅的孤独。
天堂电影院	9.2	那些吻戏，那些青春，都在影院的黑暗里被泪水冲刷得无比清晰。
狮子王	9.1	动物版《哈姆雷特》。
辩护人	9.2	电影的现实意义大过电影本身。
饮食男女	9.2	人生不能像做菜，把所有的料都准备好了才下锅。
搏击俱乐部	9.0	邪恶与平庸蛰伏于同一个母体，在特定的时间互相对峙。
本杰明·巴顿奇事	9.0	在时间之河里感受溺水之苦。
美丽心灵	9.1	爱是一切逻辑和原由。
穿条纹睡衣的男孩	9.2	尽管有些不切实际的幻想，这部电影依旧是一部感人肺腑的佳作。
情书	8.9	暗恋的极致。
窃听风暴	9.2	别样人生。
两杆大烟枪	9.1	4个臭皮匠顶个诸葛亮，盖·里奇果然不是盖的。
哈利·波特与死亡圣器(下)	9.0	10年的完美句点。
音乐之声	9.1	用音乐化解仇恨，让歌声串起美好。
看不见的客人	8.8	你以为你以为的就是你以为的。
西西里的美丽传说	8.9	美丽无罪。
阿凡达	8.8	绝对意义上的美轮美奂。
拯救大兵瑞恩	9.1	美利坚精神输出大片No1.
功夫	8.9	警恶惩奸，维护世界和平这个任务就交给你了，好吗？
哈利·波特与阿兹卡班的囚徒	9.0	不一样的导演，不一样的哈利·波特。
小鞋子	9.2	奔跑的孩子是天使。
飞越疯人院	9.1	自由万岁。
沉默的羔羊	8.9	安东尼·霍普金斯的顶级表演。
布达佩斯大饭店	8.9	小清新的故事里注入了大历史的情怀。
蝴蝶效应	8.9	人的命运被自己瞬间的抉择改变。
禁闭岛	8.9	昔日翩翩少年，今日大腹便便。
致命魔术	8.9	孪生蝙蝠侠大战克隆金刚狼。
心灵捕手	9.0	人生中应该拥有这样的一段豁然开朗。
超脱	9.0	穷尽一生，我们要学会的，不过是彼此拥抱。
低俗小说	8.9	故事的高级讲法。
摩登时代	9.3	大时代中的人生，小人物的悲喜。
喜剧之王	8.8	我是一个演员。
春光乍泄	9.0	爱情纠缠，男女一致。
哈利·波特与密室	8.9	魔法的密室之门已打开...
致命ID	8.9	最不可能的那个人永远是最可能的。
海豚湾	9.3	海豚的微笑，是世界上最高明的伪装。
杀人回忆	8.9	关于连环杀人悬案的集体回忆。
美国往事	9.1	往事如烟，无处祭奠。
一一	9.1	我们都曾经是一一。
红辣椒	9.0	梦的勾结。
加勒比海盗	8.8	约翰尼·德普的独角戏。
七宗罪	8.8	警察抓小偷，老鼠玩死猫。
唐伯虎点秋香	8.7	华太师是黄霑，吴镇宇四大才子之一。
狩猎	9.1	人言可畏。
7号房的礼物	8.9	《我是山姆》的《美丽人生》。
蝙蝠侠：黑暗骑士崛起	8.9	诺兰就是保证。
甜蜜蜜	8.9	相逢只要一瞬间，等待却像是一辈子。
被嫌弃的松子的一生	8.8	以戏谑来戏谑戏谑。
爱在黎明破晓前	8.8	缘分是个连绵词，最美不过一瞬。
超能陆战队	8.8	Balalala~~~
寄生虫	8.8
第六感	8.9	深入内心的恐怖，出人意料的结局。
重庆森林	8.8	寂寞没有期限。
爱在日落黄昏时	8.9	九年后的重逢是世俗和责任的交叠，没了悸动和青涩，沧桑而温暖。
入殓师	8.9	死可能是一道门，逝去并不是终结，而是超越，走向下一程。
幽灵公主	8.9	人与自然的战争史诗。
剪刀手爱德华	8.7	浪漫忧郁的成人童话。
请以你的名字呼唤我	8.8	沉醉在电影的情感和视听氛围中无法自拔。
断背山	8.8	每个人心中都有一座断背山。
勇敢的心	8.9	史诗大片的典范。
菊次郎的夏天	8.9	从没见过那么流氓的温柔，从没见过那么温柔的流氓。
借东西的小人阿莉埃蒂	8.9	曾经的那段美好会沉淀为一辈子的记忆。
未麻的部屋	9.1	好的剧本是，就算你猜到了结局也猜不到全部。
哈利·波特与火焰杯	8.8
消失的爱人	8.7	年度最佳date movie。
无人知晓	9.1	我的平常生活就是他人的幸福。
时空恋旅人	8.8	把每天当作最后一天般珍惜度过，积极拥抱生活，就是幸福。
茶馆	9.6
倩女幽魂	8.8	两张绝世的脸。
完美的世界	9.1	坏人的好总是比好人的好来得更感人。
阳光灿烂的日子	8.8	一场华丽的意淫。
小森林 夏秋篇	9.0	那些静得只能听见呼吸的日子里，你明白孤独即生活。
天使爱美丽	8.7	法式小清新。
驯龙高手	8.8	和谐的生活离不开摸头与被摸头。
头脑特工队	8.8	愿我们都不用长大，每一座城堡都能永远存在。
侧耳倾听	8.9	少女情怀总是诗。
新世界	8.9	要做就做得狠一点，这样才能活下去。
教父3	9.0	任何信念的力量，都无法改变命运。
怪兽电力公司	8.8	不要给它起名字，起了名字就有感情了。
傲慢与偏见	8.7	爱是摈弃傲慢与偏见之后的曙光。
一个叫欧维的男人决定去死	8.9	惠及一生的美丽。
玩具总动员3	8.9	跨度十五年的欢乐与泪水。
幸福终点站	8.8	有时候幸福需要等一等。
小森林 冬春篇	9.0	尊敬他人，尊敬你生活的这片土地，明白孤独是人生的常态。
色，戒	8.7	假戏真情，爱欲深海
被解救的姜戈	8.8	热血沸腾，那个低俗、性感的无耻混蛋又来了。
釜山行	8.6	揭露人性的丧尸题材力作。
神偷奶爸	8.7	Mr. I Don't Care其实也有Care的时候。
萤火之森	8.8	触不到的恋人。
九品芝麻官	8.7
哪吒闹海	9.2	想你时你在闹海。
告白	8.8	没有一人完全善，也没有一人完全恶。
喜宴	9.0	中国家庭的喜怒哀乐忍。
玛丽和马克思	9.0	你是我最好的朋友，你是我唯一的朋友 。
模仿游戏	8.8	他给机器起名“克里斯托弗”，因为这是他初恋的名字。
头号玩家	8.6	写给影迷，动漫迷和游戏迷的一封情书。
花样年华	8.8	偷情本没有这样美。
大鱼	8.8	抱着梦想而活着的人是幸福的，怀抱梦想而死去的人是不朽的。
七武士	9.3	时代悲歌。
射雕英雄传之东成西就	8.7	百看不厌。
惊魂记	9.0	故事的反转与反转，分裂电影的始祖。
血战钢锯岭	8.7	优秀的战争片不会美化战场，不会粉饰死亡，不会矮化敌人，不会无视常识，最重要的，不会宣扬战争。
我是山姆	9.0	爱并不需要智商 。
阳光姐妹淘	8.8	再多各自牛逼的时光，也比不上一起傻逼的岁月。
恐怖直播	8.7	恐怖分子的“秋菊打官司”。
你的名字。	8.5	穿越错位的时空，仰望陨落的星辰，你没留下你的名字，我却无法忘记那句“我爱你”。
黑客帝国3：矩阵革命	8.8	不得不说，《黑客帝国》系列是商业片与科幻、哲学完美结合的典范。
三块广告牌	8.7	怼天怼地，你走后，她与世界为敌。
心迷宫	8.8	荒诞讽刺，千奇百巧，抽丝剥茧，百转千回。
电锯惊魂	8.7	真相就在眼前。
小丑	8.7
达拉斯买家俱乐部	8.8	Jared Leto的腿比女人还美！
背靠背，脸对脸	9.5
心灵奇旅	8.7
疯狂原始人	8.7	老少皆宜，这就是好莱坞动画的魅力。
谍影重重3	8.8	像吃了苏打饼一样干脆的电影。
绿里奇迹	8.9	天使暂时离开。
上帝之城	9.0	被上帝抛弃了的上帝之城。
海街日记	8.8	是枝裕和的家庭习作。
爱在午夜降临前	8.9	所谓爱情，就是话唠一路，都不会心生腻烦，彼此嫌弃。
英雄本色	8.6	英雄泪短，兄弟情长。
风之谷	8.9	动画片的圣经。
无间道2	8.8
疯狂的石头	8.6	中国版《两杆大烟枪》。
2001太空漫游	8.9	现代科幻电影的开山之作，最伟大导演的最伟大影片。
雨中曲	9.1	骨灰级歌舞片。
纵横四海	8.8	香港浪漫主义警匪动作片的巅峰之作。
卢旺达饭店	8.9	当这个世界闭上双眼，他却敞开了怀抱。
记忆碎片	8.7	一个针管引发的血案。
小偷家族	8.7	我们组成了家。
无敌破坏王	8.7	迪士尼和皮克斯拿错剧本的产物。
岁月神偷	8.7	岁月流逝，来日可追。
冰川时代	8.6	松鼠才是角儿。
牯岭街少年杀人事件	8.9	弱者送给弱者的一刀。
荒蛮故事	8.8	始于荒诞，止于更荒诞。
忠犬八公物语	9.2	养狗三日，便会对你终其一生。
恐怖游轮	8.5	不要企图在重复中寻找已经失去的爱。
爆裂鼓手	8.6	这个世界从不善待努力的人，努力了也不一定会成功，但是知道自己在努力，就是活下去的动力。
末路狂花	9.0	没有了退路，只好飞向自由。
东京教父	9.0
魔女宅急便	8.7	宫崎骏的电影总让人感觉世界是美好的，阳光明媚的。
大佛普拉斯	8.7	人们可以登上月球，却永远无法探索人们内心的宇宙。
遗愿清单	8.7	用剩余不多的时间，去燃烧整个生命。
贫民窟的百万富翁	8.6	上帝之城+猜火车+阿甘正传+开心辞典=山寨富翁
高山下的花环	9.5
东邪西毒	8.6	电影诗。
你看起来好像很好吃	8.9	感情不分食草或者食肉。
源代码	8.5	邓肯·琼斯继《月球》之后再度奉献出一部精彩绝伦的科幻佳作。
疯狂的麦克斯4：狂暴之路	8.7	“多么美好的一天！”轰轰轰砰咚，啪哒哒哒轰隆隆，磅~
可可西里	8.9	坚硬的信仰。
海边的曼彻斯特	8.6	我们都有权利不与自己的过去和解。
城市之光	9.3	永远的小人物，伟大的卓别林。
波西米亚狂想曲	8.6
黑天鹅	8.6	黑暗之美。
芙蓉镇	9.3
爱乐之城	8.4
真爱至上	8.5	爱，是个动词。
青蛇	8.6	人生如此，浮生如斯。谁人言，花彼岸，此生情长意短。谁都是不懂爱的罢了。
花束般的恋爱	8.6
初恋这件小事	8.5	黑小鸭速效美白记。
雨人	8.7	生活在自己的世界里，也可以让周围的人显得可笑和渺小。
终结者2：审判日	8.8	少见的超越首部的续集，动作片中的经典。
人工智能	8.7	对爱的执着，可以超越一切。
哈利·波特与死亡圣器(上)	8.6	最忠于原著的一部。
无耻混蛋	8.7	昆汀同学越来越变态了，比北野武还杜琪峰。
虎口脱险	8.9	永远看不腻的喜剧。
白日梦想家	8.6
新龙门客栈	8.7	嬉笑怒骂，调风动月。
恋恋笔记本	8.5	爱情没有那么多借口，如果不能圆满，只能说明爱的不够。
崖上的波妞	8.6
罗生门	8.8	人生的N种可能性。
千钧一发	8.8	一部能引人思考的科幻励志片。
机器人之梦	9.0
彗星来的那一夜	8.6	小成本大魅力。
大红灯笼高高挂	8.8
哈利·波特与凤凰社	8.5
黑客帝国2：重装上阵	8.7	一个精彩的世界观正在缓缓建立。
萤火虫之墓	8.7	幸福是生生不息，却难以触及的远。
火星救援	8.5
奇迹男孩	8.6	世界不完美，爱会有奇迹。
二十二	8.7	有一些东西不应该被遗忘。
战争之王	8.7	做一颗让别人需要你的棋子。
步履不停	8.8	日本的家庭电影已经是世界巅峰了，步履不停是巅峰中的佳作。
千年女优	8.8	爱情是一场没有尽头的虚幻追逐。
血钻	8.7	每个美丽事物背后都是滴血的现实。
谍影重重2	8.7	谁说王家卫镜头很晃？
房间	8.8	被偷走的岁月，被伤害的生命，被禁锢的灵魂，终将被希望和善意救赎。
魂断蓝桥	8.8	中国式内在的美国电影。
蜘蛛侠：平行宇宙	8.6
里斯本丸沉没	9.3
弱点	8.7	拍掉身上的悲伤，从今天开始重新踏上追梦之旅。
谍影重重	8.6	哗啦啦啦啦，天在下雨，哗啦啦啦啦，云在哭泣……找自己。
隐藏人物	8.9
朗读者	8.6	当爱情跨越年龄的界限，它似乎能变得更久远一点，成为一种责任，一种水到渠成的相濡以沫。