python电影信息爬取

python爬虫,电影信息爬取

爬虫代码

from lxml import etree
import time
import random
import requests
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'}

#处理字符串中的空白符,并拼接字符串
def processing(strs):
    s = ''              #自定义保存内容的字符串
    for n in strs:
        n = ''.join(n.split())
        s = s + n
    return s            #返回拼接后的字符串

#获取电影信息
def get_movie_info(url):
    response = requests.get(url,headers=header)                             #发送网络请求
    html = etree.HTML(response.text)                                        #解析HTML字符串
    div_all = html.xpath('//div[@class="info"]')
    for div in div_all:
        names = div.xpath('./div[@class="hd"]/a//span/text()')              #获取电影名字相关信息
        name = processing(names)                                            #处理电影名称信息
        infos = div.xpath('./div[@class="bd"]/p/text()')                    #获取导演、主演等信息
        info = processing(infos)                                            #处理导演、主演等信息
        score = div.xpath('./div[@class="bd"]/div/span[2]/text()')          #获取电影评分
        evaluation = div.xpath('./div[@class="bd"]/div/span[4]/text()')     #获取评价人数
        #获取电影总结文字
        summary = div.xpath('./div[@class="bd"]/p[@class="quote"]/span/text()')
        print('电影名称',name)
        print('导演与演员',info)
        print('电影评分',score)
        print('评价人数',evaluation)
        print('电影总结',summary)
        print('---------------分割线----------------')

#创建程序入口

if __name__ == '__main__':
    for i in range(0,250,25):                                                   #每页25为间隔,实现循环,共10页
        #通过format替换切换页码的URL地址
        url = 'http://movie.douban.com/top250?start={page}&filter='.format(page=i)
        get_movie_info(url)                                                     #调用爬虫方法,获取电影信息
        time.sleep(random.randint(1,3))                                         #等待1至3秒

运行结果

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值