IMDB TOP 250爬虫

最新推荐文章于 2024-02-23 09:00:00 发布

LIBO919

最新推荐文章于 2024-02-23 09:00:00 发布

阅读量1.5k

点赞数

分类专栏： Python 文章标签：爬虫 python

本文链接：https://blog.csdn.net/LIBO919/article/details/77990033

版权

这是一个关于使用Python编写的IMDB TOP 250电影信息爬虫项目，作者在文中分享了其第二次爬虫实践的经验，通过爬虫获取了IMDB排名前250部电影的详细数据。代码已附在文章中。

摘要由CSDN通过智能技术生成

IMDB TOP 250爬虫

这个小学期Python大作业搞了个获取IMDB TOP 250电影全部信息的爬虫。第二次写爬虫，比在暑假集训时写的熟练多了。欢迎大家评论。

附上代码

'''
************************************************
*Made by 1120162015 李博       
*        1120161966 张嘉熙     
*Time：2017.9.11       
*Target：All movies' information of IMDB TOP_250
*Resources：http://www.imdb.cn/IMDB250/
*纯原创 转载请注明作者：李博，张嘉熙
************************************************
'''

import re
import requests
import numpy as np
import matplotlib.pyplot as plt
from bs4 import BeautifulSoup

num = 1 #电影计数
All_txt = [] #全部电影的信息
headers={
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}#浏览器代理
def  getHTMLText(url):
    try:
        #print(url)
        r = requests.get( url,headers = headers )
        #print(r)
        r.encoding = 'utf-8'
        return r.text
    except:
        return "错误"

#从每一部电影的页面中获取全部信息
def get_all_information(url,page):
    global num,All_txt
    txt = getHTMLText(url)
    if txt != "错误":
        print('page'+str(page)+' NO.'+str(num)+' Get it!')
    if num == 247:
        print('Finished!!!')
    soup = BeautifulSoup(txt,"html.parser")
    Cname,Ename,Score,title,Actor,Starring,Infor = '','','','','','',''

    #TOP250-film_Chinese_name&Score
    infor_1 = soup.find_all('div',class_ = 'hdd')
    rel =