2023年网络爬虫实训（第六天）

最新推荐文章于 2024-05-04 19:15:18 发布

꧁Jupiter꧂

最新推荐文章于 2024-05-04 19:15:18 发布

阅读量455

点赞数 2

文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/qq_62011165/article/details/128677878

版权

任务1：正则表达式解析电影天堂网站获取电影信息。（1）可以根据传入的电影分类获取该分类下的电影数据（2）要抓取的电影数据为：电影的名称，电影的上映时间，电影的产地，电影的类别，电影主演，电影导演，电影简介（3）获取电影的下载地址，专用播放器下载地址，迅雷下载地址（4）将获取的电影数据写入到json文件夹中。（5）完成实验2的报告编写

# 正则表达式解析电影天堂网站获取电影信息。
# （1）可以根据传入的电影分类获取该分类下的电影数据
# （2）要抓取的电影数据为：电影的名称，电影的上映时间，电影的产地，电影的类别，电影主演，电影导演，电影简介
# （3）获取电影的下载地址，专用播放器下载地址，迅雷下载地址
# （4）将获取的电影数据写入到json文件夹中。

# 分析：
# 剧情片 https://www.dy2018.com/0/
# 喜剧片 https://www.dy2018.com/1/
# 动作片 https://www.dy2018.com/2/
# 爱情片 https://www.dy2018.com/3/
# 如果想爬其他类型的电影，只要改变 url中的数字即可，也可以写一个循环，把所有板块中的电影全部爬取下来。

import json
import requests
import re
import time
#
# 正则表达式解析电影天堂网站获取电影信息。
# （1）可以根据传入的电影分类获取该分类下的电影数据
# （2）要抓取的电影数据为：电影的名称，电影的上映时间，电影的产地，电影的类别，电影主演，电影导演，电影简介
# （3）获取电影的下载地址，专用播放器下载地址，迅雷下载地址
# （4）将获取的电影数据写入到json文件夹中。

# 分析：
# 剧情片  https://www.dy2018.com/0/
# 喜剧片  https://www.dy2018.com/1/
# 动作片  https://www.dy2018.com/2/
# 爱情片  https://www.dy2018.com/3/
# 如果想爬其他类型的电影，只要改变 url中的数字即可，也可以写一个循环，把所有板块中的电影全部爬取下来。

class Dy2018:
    """
    电影天堂爬虫
    """
    def __init__(self):
        """初始化方法"""
        # 请求地址
        self.url1 = 'https://www.dy2018.com/{}/'
        self.url2 = 'https://www.dy2018.com{}'
        # 请求头
        self.header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"}
        # 数据源
        self.data = []
        # 计数
        self.num = 1

    def get_response(self, url):  # 此处的url为构造好的url,不是self.url
        """发送请求地址并获取响应"""
        return requests.get(url, headers=self.header).content.decode('gbk')  # 电影天堂：使用gbk编码

    @staticmethod  # 静态方法
    def parse_data1(html):
        """解析数据1"""
        # 获取地址中的后半部分，如：/i/106985.html...
        pattern1 = r'<b>.*?<a href="(.*?)" class'
        results1 = re.compile(pattern1, re.S).findall(html)
        # print(results1)
        # results1为列表：['/i/106985.html', '/i/106983.html', '/i/106977.html', '/i/106956.html', '/i/106944.html', '/i/106943.html', '/i/106918.html', '/i/106662.html', '/i/104234.html', '/i/106865.html', '/i/106848.html', '/i/106843.html', '/i/106839.html', '/i/106837.html', '/i/106804.html', '/i/106794.html', '/i/106776.html', '/i/106730.html', '/i/106719.html', '/i/106714.html', '/i/106710.html', '/i/106668.html', '/i/106648.html', '/i/106638.html', '/i/106624.html', '/i/106603.html', '/i/106597.html', '/i/106581.html', '/i/106573.html', '/i/106511.html']
        return results1

    def parse_data2(self, html):
        """解析数据2"""
        # 1.定义请求规则
        pattern2 = r'◎片　　名　(.*?)<br />.*?◎产　　地　(.*?)<br />.*?◎类　　别　(.*?)<br />.*?◎上映日期　(.*?)<br />.*?◎导　　演　(.*?)<br />.*?◎主　　演　(.*?)<br />.*?◎简　　介<br />　　(.*?)<br />.*?&path=(.*?)">.*?announce">(.*?)</a></td>'
        # 2.根据规则提取数据
        results2 = re.compile(pattern2, re.S).findall(html)
        # 3.保护机制
        if len(results2) == 0:
            print('没有提取出结果，请检查html或正则表达式pattern！')
            return
        else:
            print(f'第{self.num}部电影信息已成功保存到电影.json中！')
        self.num = self.num + 1
        # 4.遍历
        for result in results2:
            # 4.1 建立 字典 数据存储模型
            model = dict()
            model['1.电影的名称'] = result[0]
            model['2.电影的上映时间'] = result[3]
            model['3.电影的产地'] = result[1]
            model['4.电影的类别'] = result[2]
            model['5.电影主演'] = result[5]
            model['6.电影导演'] = result[4]
            model['7.电影简介'] = result[6]
            model['8.专用播放器下载地址'] = result[7]
            model['9.迅雷下载地址'] = result[8]
            # 4.2 将存储好的数据放到数据源中
            self.data.append(model)

    def write_to_json(self):
        """写到文件中"""
        # 1.定义字典
        temp = {"Movie_Information": self.data}  # self.data数据源为一个列表[]，里面放字典model{}
        # 2.将字典对象temp转化为json字符串
        content = json.dumps(temp, ensure_ascii=False, indent=4)
        # 3.写入文件
        with open('./电影天堂/电影.json', 'w', encoding='utf-8') as f:
            f.write(content)

    def run(self):
        """爬虫启动程序"""
        print('1.剧情片 2.喜剧片 3.动作片 4.爱情片 5.科幻片 6.动画片 7.悬疑片 8.惊悚片 9.恐怖片 10.纪录片')
        print('11.音乐歌舞题材电影 12.传记片 13.历史片 14.战争片 15.犯罪片 16.奇幻电影 17.冒险电影 18.灾难片 19.武侠片 20.古装片')
        i = input('请输入1-20数字(电影的类名)：\n')
        # 构造地址
        url1 = self.url1.format(i)  # 拼接部分1
        # 发送请求并获取响应
        html1 = self.get_response(url1)
        # 解析数据
        result_ = self.parse_data1(html1)
        # for i in result_:
        #     print(i)

        print(f'开始爬取有关 {i} 类首页的电影......')
        for index2 in result_:
            # 构造地址
            url2 = self.url2.format(index2)  # 拼接部分2
            # 发送请求并获取响应
            html2 = self.get_response(url2)
            # 解析数据
            self.parse_data2(html2)
            # 增加一个时间间隔
            time.sleep(1.0)

        # 写入json文件中
        self.write_to_json()
        return self.num - 1


if __name__ == '__main__':
    num = Dy2018().run()
    print(f'已成功将{num}部电影信息全部保存到电影.json中,请查看"电影天堂"文件夹！')

任务2：掌握xpath路径表达式的用法。掌握xpath解析数据的方法。

html = '''
<div class='application-book'>
<ul>
<li class='i1'><a href='link1.html'>c语言</a></li>
<li class='i2'><a href='link2.html'>c++语言</a></li>
<li class='i3'><a href='link3.html'>python语言</a></li>
<li class='i4'><a href='link4.html'>php语言</a></li>
<li class='i5'><a href='link5.html'>mysql语言</a></li>
<li class='i6'><a href='link6.html'>lua语言</a></li>
</ul>
</div>
<div class='novel'>
<ul>
<li class='i1'><a href='link1.html'>连城诀</a></li>
<li class='i2'><a href='link2.html'>射雕英雄传</a></li>
<li class='i3'><a href='link3.html'>神雕侠侣</a></li>
<li class='i4'><a href='link4.html'>天龙八部</a></li>
<li class='i5'><a href='link5.html'>笑傲江湖</a></li>
<li class='i6'><a href='link6.html'>越女剑</a></li>
</ul>
<ul>
<li class='i1'><a href='link1.html'>楚留香</a></li>
<li class='i2'><a href='link2.html'>陆小凤传奇</a></li>
<li class='i3'><a href='link3.html'>天涯明月刀</a></li>
<li class='i4'><a href='link4.html'>萧十一郎</a></li>
<li class='i5'><a href='link5.html'>小鱼儿与花无缺</a></li>
</ul>
<div>
</div>
</div>
<ul class='novel'>
<ul>
<li class='i1'><a href='link1.html'>新连城诀</a></li>
<li class='i2'><a href='link2.html'>新射雕英雄传</a></li>
<li class='i3'><a href='link3.html'>新神雕侠侣</a></li>
<li class='i4'><a href='link4.html'>新天龙八部</a></li>
<li class='i5'><a href='link5.html'>新笑傲江湖</a></li>
<li class='i6'><a href='link6.html'>新越女剑</a></li>
</ul>
</ul>
'''

from lxml import etree

html = '''
    <div class='application-book'>
        <ul>
            <li class='i1'><a href='link1.html'>c语言</a></li>
            <li class='i2'><a href='link2.html'>c++语言</a></li>
            <li class='i3'><a href='link3.html'>python语言</a></li>
            <li class='i4'><a href='link4.html'>php语言</a></li>
            <li class='i5'><a href='link5.html'>mysql语言</a></li>
            <li class='i6'><a href='link6.html'>lua语言</a></li>
        </ul>
    </div>
    <div class='novel'>
        <ul>
            <li class='i1'><a href='link1.html'>连城诀</a></li>
            <li class='i2'><a href='link2.html'>射雕英雄传</a></li>
            <li class='i3'><a href='link3.html'>神雕侠侣</a></li>
            <li class='i4'><a href='link4.html'>天龙八部</a></li>
            <li class='i5'><a href='link5.html'>笑傲江湖</a></li>
            <li class='i6'><a href='link6.html'>越女剑</a></li>
        </ul>
        <ul>
            <li class='i1'><a href='link1.html'>楚留香</a></li>
            <li class='i2'><a href='link2.html'>陆小凤传奇</a></li>
            <li class='i3'><a href='link3.html'>天涯明月刀</a></li>
            <li class='i4'><a href='link4.html'>萧十一郎</a></li>
            <li class='i5'><a href='link5.html'>小鱼儿与花无缺</a></li>
        </ul>
        <div>
        </div>
    </div>
    <ul class='novel'>
        <ul>
            <li class='i1'><a href='link1.html'>新连城诀</a></li>
            <li class='i2'><a href='link2.html'>新射雕英雄传</a></li>
            <li class='i3'><a href='link3.html'>新神雕侠侣</a></li>
            <li class='i4'><a href='link4.html'>新天龙八部</a></li>
            <li class='i5'><a href='link5.html'>新笑傲江湖</a></li>
            <li class='i6'><a href='link6.html'>新越女剑</a></li>
        </ul>
    </ul>
'''

# 1. 创建xpath查找对象
xpath_finder = etree.HTML(html)
# 2. 利用xpath查找对象查找以下内容

# 2.1 提取class为i1的a标签中的内容 ['c语言', '连城诀', '楚留香', '新连城诀']
print(xpath_finder.xpath("//li[@class='i1']/a/text()"))
print(xpath_finder.xpath("//a[@href='link1.html']/text()"))

# 2.2 提取属性为novel标签下的第一个ul节点下的a节点的内容
# 分析得知:属性为novel的有两个节点分别是div和ul节点
#   2.2.1 提取div下的第一个ul下的a节点的内容
print(xpath_finder.xpath('//div[@class="novel"]/ul[1]//a/text()'))
print(xpath_finder.xpath('//div[@class="novel"]/ul[position()<2]//a/text()'))  # position()为1
print(xpath_finder.xpath('//div[@class="novel"]/ul[last()-1]//a/text()'))  # last()为2
#   2.2.2 提取 小说中 第一个ul下的a节点的内容
print(xpath_finder.xpath('//ul[@class="novel"]/ul//a/text()') + xpath_finder.xpath('//div[@class="novel"]/ul[1]//a/text()'))

# 2.3 *不限定节点
print(xpath_finder.xpath('//*[@class="novel"]/ul[1]//a/text()'))

꧁Jupiter꧂

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
2023年网络爬虫实训（第六天）

（2）要抓取的电影数据为：电影的名称，电影的上映时间，电影的产地，电影的类别，电影主演，电影导演，电影简介。# 如果想爬其他类型的电影，只要改变 url中的数字即可，也可以写一个循环，把所有板块中的电影全部爬取下来。# 剧情片 https://www.dy2018.com/0/# 喜剧片 https://www.dy2018.com/1/# 动作片 https://www.dy2018.com/2/# 爱情片 https://www.dy2018.com/3/
复制链接

扫一扫