Python爬取豆瓣电影TOP250相关数据

Python用途广泛，功能强大。。。所以闲来无事想学学python，发帖记录我的学习过程，本次给大家分享一下简单的python爬取豆瓣电影TOP250的一些相关信息，比如电影名、资料等。至于一些关于python的介绍，各位自己再百度，至于代码的意思，注解的也相对很详细了。当然啦，写法有很多，各不相同！我就用贼笨贼low但贼一目了然的那种！各位看官共勉！
因为我是新手，看网上教程说推荐新手使用IDLE(对！就是很多人说比较low的那个！)

话不多说上代码！

"""
爬取豆瓣电影Top250
"""

import requests,bs4,re

def open_url(url):
    #使用代理，没有则不用搭理
    #proxies = {"http":"127.0.0.1:1080","https":"127.0.0.1:1080"}
    #设置头部信息的目的：
    #因为如果不设置headers，请求则会使用python默认的，为了避免浏览器将请求当作不合法的请求给踢出(抛出)浏览器,故而添加头部信息进行伪装，这里添加谷歌头(电光毒龙钻)
    headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0,WOW54) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/57.0.2987.98 Safari/537.36"}
    
    #res = requests.get(url,headers = headers,proxies = proxies)
    res = requests.get(url,headers = headers)
    #将res返回
    return res

def find_movies(res):
    #BeautifulSoup组件解析html页面
    soup = bs4.BeautifulSoup(res.text,"html.parser")

    #电影名
    movies = []
    #打开开发者工具，在电影名处点击右键检查，定位html代码标签，可以看到在div标签下，class='hd'
    targets = soup.find_all("div",class_="hd")
    for each in targets:
    	#在刚才所说的div标签下的a标签下的span标签中，我们提取span标签中的内容，调用text方法即可
        movies.append(each.a.span.text)


    #评分
    ranks = []
    #同上
    targets = soup.find_all("span",class_="rating_num")
    for each in targets:
        #评分得到后直接使用%s格式化将each.text即评分带入变量
        ranks.append("评分:%s" % each.text)


    #资料
    messages = []
    #同上
    targets = soup.find_all("div",class_="bd")
    for each in targets:
        #使用try的原因：查看本页面源代码可知资料栏中有的数据并没有足够的数据
        #即：例如174和175，并没有主演等信息，所以此处使用try、except，否则
        #报错超出数组索引范围  list index out of range
        try:
            messages.append(each.p.text.split('\n')[1].strip() + each.p.text.split('\n')[2].strip())
        except:
            continue

    #返回结果
    result = []
    #简单的for循环将结果添加到result中，不做过多解释
    length = len(movies)
    for i in range(length):
        result.append(movies[i] + ranks[i] + messages[i] + '\n')

    return result

#找出一共有多少页
def find_depth(res):
    soup = bs4.BeautifulSoup(res.text,"html.parser")
    #这里在页面的下一页处点击右键检查，定位html位置，可知span标签，class属性为next
    #调用方法得到总页数，因为一页只显示25个，我们需要得到所有页数
    depth = soup.find("span",class_ ="next").previous_sibling.previous_sibling.text
    #将总页数返回，后续循环遍历取数据
    return int(depth)

def main():
	#先在首页面获取总页数
    host = "https://movie.douban.com/top250"
    res = open_url(host)
    depth = find_depth(res)

    result = []
    for i in range(depth):
    	#在点击下一页后请求栏里数据会发生改变
        #在不同的页码页面请求栏中很明显的可以看到后面添加String的数字，即'/?start='+str(num)
        url = host + '/?start=' + str(25 * i)
        print(f"正在爬取第{i+1}页：{url}")
        res = open_url(url)
        #调用方法爬取数据
        result.extend(find_movies(res))

	#将爬取结果写入到自定义的文件夹下，
    with open("E:/develop kits/python3.7.3/Training_files/results/豆瓣TOP250电影.txt","w",encoding = "utf-8") as f:
        for each in result:
            f.write(each)

    print("爬取完毕。")

#调用主方法
if __name__ == "__main__":
    main()

                    

新入坑大白鹅“广学技术”，闲来无事把我的学习过程慢慢记录起来以便以后方便回顾，各位大佬不喜勿喷。