Python 爬虫抓取豆瓣电影 Xpath方法解析html

大二下期做爬虫时用的Xpath方法抓取豆瓣电影。

#//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]

#  div[1]、span[1]表示要查找的是该标签下的第1个div标签,第1个span标签。
#  span标签可以用方法span[1]/text()取出其中的内容,pan[1]/@class可以取出属性值。/@src图片路径

#  电影封面的下载:找到图片的链接地址。调用函数urllib.request.urlretrieve()

#urllib返回返回的html是字符串格式,需要用tree.HTML转化成xpath能处理的对象。
#观察html代码,每一个<li> ...</li>,标签刚好对应一部电影
'''
爬取豆瓣top250电影
第一页 https://movie.douban.com/top250?start=0&filter=
第二页 https://movie.douban.com/top250?start=25&filter=
第三页 https://movie.douban.com/top250?start=50&filter=

data_title ---电影名称
data_info  ---电影信息(导演、主演、上映时间)
data_quote ---电影引言
data_score ---电影评分
data_num   ---电影评论人数
data_picturl---电影封面链接

urllib.request.urlretrieve("https://movie.douban.com/top250?start=0&filter=",filename=r"C:\Users\Administrator\PycharmProjects\untitled\爬虫\没用的文件\豆瓣电影top250第一页.html")
'''

import urllib.request
from lxml import etree

#构造函数,抓取第i页
def crawler(i):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}

    #构造第i页的网址
    url = "https://movie.douban.com/top250?start="+ str(25*i)+"&filter="

    #发起请求,获得返回html代码并保持在变量res中
    res = urllib.request.urlopen(url).read().decode('utf-8')

    # 将返回的字符串格式的html代码转换成xpath能处理的对象
    res = etree.HTML(res) #解析

    #选取行列表,存在了元素对象列表

    datas = res.xpath('//*[@id="content"]/div/div[1]/ol')
    a = 0
    for data in datas:
        #list 1  //*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]
        #list 2  // *[ @ id = "content"] / div / div[1] / ol / li[2] / div / div[2] / div[1]
        #   //*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/p[1]
        #   //*[@id="content"]/div/div[1]/ol/li[2]/div/div[2]/div[2]/p[1]
        for n in range(1,26):
            data_title = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[1]/a/span[1]/text()')
            data_info = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/p[1]/text()')
            data_quote = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/p[2]/span/text()')
            data_score = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/div/span[2]/text()')
            data_num = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[2]/div[2]/div/span[4]/text()')
            data_picturl = data.xpath('//*[@id="content"]/div/div[1]/ol/li['+str(n)+']/div/div[1]/a/img/@src')
            print("No:" + str(i * 25 + a + 1))
            print(data_title)

            with open(r"C:\Users\Administrator\PycharmProjects\untitled\爬虫\没用的文件\豆瓣top250.txt", "a",encoding='utf-8') as f:
                f.write("No:"+str(i * 25 + a + 1)+'\n')
                f.write("***"+str(data_title)+"***"+'\n')
                f.write("电影信息:\n"+str(data_info[0]).strip()+'\n')
                f.write("电影信息:\n"+str(data_info[1]).strip()+'\n')   #strip去除收尾空格
                f.write("引言:"+str(data_quote)+'\n')
                f.write("评分:"+str(data_score)+'\n')
                f.write("热度:"+str(data_num)+"\n")
                f.write("电影图片链接:"+str(data_picturl)+"\n")
                f.write('\n')
            a+=1

for i in range(10):
    crawler(i)

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值