Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel（附上完整源码）

置顶 已于 2024-03-25 09:17:23 修改
阅读量10w+ 收藏 147
点赞数 99
分类专栏： Python爬虫实战100例 《极客日报》 文章标签： python 爬虫 网络爬虫 爬虫实战
于 2023-07-26 07:42:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuan2019035055/article/details/131879204
版权

1. 爬虫和代理IP的关系

爬虫和代理IP之间的关系密切，代理IP可以安全采集公开数据信息，保证爬虫的持续运行和数据采集。

2. 使用代理IP的好处

使用代理IP可以带来以下好处：

  • 匿名保护，保护隐私安全
  • 安全采集公开数据信息
  • 分散访问压力，提高爬取效率和稳定性。
  • 收集不同地区或代理服务器上的数据，用于数据分析和对比。

然而，使用代理IP也存在一些挑战和注意事项：

  • IP安全性低，无法高效采集公开数据。

  • 使用代理IP可能增加网络请求的延迟和复杂性，需要合理配置和调整爬虫程序。

  • 使用代理IP需要遵守相关法律法规和目标网站的使用规则，不得进行非法活动或滥用代理IP服务。

博主最近使用的是亮数据家的代理IP，IP质量很高个人感觉还不错：亮数据官网

3. 爬取目标

这次爬虫实战的目标是某瓣电影Top250排行榜，爬取的字段：排名、电影名、评分、评价人数、制片国家、电影类型、上映时间、主演、影片链接

预期效果写入Excel：

4. 准备工作

Python：3.10

编辑器：PyCharm

第三方模块，自行安装：

pip install requests # 网页数据爬取
pip install pandas # 数据处理
pip install xlwt # 写入Excel
pip install lxml # 提取网页数据

5. 爬虫实现

5.1 获取代理IP

1、打开亮数据的官网，点击立刻使用：点击试用

2、输入账号密码注册账号：

3、注册后以后点击查看代理IP产品：

4、选择适合自己ide产品，如果你使用公司邮件注册，可以找客服开通免费试用：

5、获取代理IP后通过proxies参数添加代理发送请求，案例代码：

proxies = {
  "http": "http://IP地址:端口号",   # http型
  "https": "https://IP地址:端口号"   # https型
}
response = requests.get(url,headers=headers,proxies=proxies)

5.2 导入模块

import re # 正则，用于提取字符串
import pandas as pd # pandas，用于写入Excel文件
import requests  # python基础爬虫库
from lxml import etree  # 可以将网页转换为Elements对象
import time  # 防止爬取过快可以睡眠一秒

5.3 设置翻页

首先我们来分析一下网站的翻页，一共有10页：

第一页主页为：

https://movie.douban.com/top250?start=0&filter=

第二页：

https://movie.douban.com/top250?start=25&filter=

第三页：

https://movie.douban.com/top250?start=50&filter=

可以看出每页只有start=后面的参数每次上涨25，所以用循环来构造10页网页链接：

def main():
    data_list = [] # 空列表用于存储每页获取到的数据
    for i in range(10):
        url = 'https://movie.douban.com/top250?start='+str(i*25)+'&filter='

5.4 发送请求

这里我们创建一个get_html_str(url)函数传入网页url链接，通过添加请求头和代理IP发送请求获取网页源码（注意：这里代理IP这里需要看5.1 获取代理IP自己去获取，博主的已过期）：

def get_html_str(url):
    """发送请求，获取响应"""
    # 请求头模拟浏览器
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}

    # 添加代理IP（这里代理IP这里需要看`5.1 获取代理IP`自己去获取，博主的已过期）
    proxies = {
        "http": "http://183.134.17.12:9181",
    }
    # 添加请求头和代理IP发送请求
    response = requests.get(url,headers=headers,proxies=proxies)
    # 获取网页源码
    html_str = response.content.decode()
    # 返回网页源码
    return html_str

5.5 提取数据

当我们拿到网页源码后，创建一个get_data(html_str,data_list)函数传入html_str也就是网页源码、data_list用于存储数据，就可以使用xpath开始解析数据了

1、分析网页结构，可以看到每一个电影都在ol标签下的li标签下：

2、然后我们看li标签的数据是否完整，可以看到我们需要的字段都有：

3、接下来开始写解析代码：

def get_data(html_str, data_list):
    """提取数据写入列表"""
    # 将html字符串转换为etree对象方便后面使用xpath进行解析
    html_data = etree.HTML(html_str)
    # 利用xpath取到所有的li标签
    li_list = html_data.xpath("//ol[@class='grid_view']/li")
    # 打印一下li标签个数看是否和一页的电影个数对得上
    print(len(li_list))  # 输出25，没有问题
    # 遍历li_list列表取到某一个电影的对象
    for li in li_list:
        # 用xpath获取每一个字段信息
        # 排名
        ranking = li.xpath(".//div[@class='pic']/em/text()")[0]
        # 电影名
        title = li.xpath(".//div[@class='hd']/a/span[1]/text()")[0]
        # 评分
        score = li.xpath(".//span[@class='rating_num']/text()")[0]
        # 评价人数
        evaluators_number = li.xpath(".//div[@class='star']/span[4]/text()")[0]
        evaluators_number = evaluators_number.replace('人评价', '')  # 将'人评价'替换为替换为空，更美观
        # 导演、主演
        str1 = li.xpath(".//div[@class='bd']/p[1]//text()")[0]
        # 利用正则提取导演名
        try:
            director = re.findall("导演: (.*?)主演", str1)[0]
            director = re.sub('\xa0', '', director)
        except:
            director = None
        # 利用正则提取主演
        try:
            performer = re.findall("主演: (.*)", str1)[0]
            performer = re.sub('\xa0', '', performer)
        except:
            performer = None
        # 上映时间、制片国家、电影类型都在这里标签下
        str2 = li.xpath(".//div[@class='bd']/p[1]//text()")[1]
        #
        try:
            # 通过斜杠进行分割
            str2_list = str2.split(' / ')
            # 年份
            year = re.sub('[\n ]', '', str2_list[0])
            # 制片国家
            country = str2_list[1]
            # 影片类型
            type = re.sub('[\n ]', '', str2_list[2])
        except:
            year = None
            country = None
            type = None
        url = li.xpath(".//div[@class='hd']/a/@href")[0]
        print({'排名': ranking, '电影名': title, '评分': score, '评价人数': evaluators_number, '导演': director,
               '主演': performer, '年份': year, '制片国家': country, '影片类型': type, '影片主页链接': url})
        data_list.append(
            {'排名': ranking, '电影名': title, '评分': score, '评价人数': evaluators_number, '导演': director,
             '主演': performer, '年份': year, '制片国家': country, '影片类型': type, '影片主页链接': url})

运行结果：

5.6 保存数据

当我们提取完数据以后就可以写入用pandas写入Excel表格中，创建into_excel(data_list)函数，将存储数据的data_list列表作为参数传入，然后用pandas的to_excel函数写入excel表格：

def into_excel(data_list):
    # 创建DataFrame对象
    df = pd.DataFrame(data_list)
    # 写入excel文件
    df.to_excel('电影Top250排行.xlsx')

5.7 调用主函数

第一步设置翻页，然后获取网页源码，接着提取数据，限制爬取的速度，最后写入Excel文件

def main():
    data_list = []  # 空列表用于存储每页获取到的数据
    # 1. 设置翻页
    for i in range(10):
        url = 'https://movie.douban.com/top250?start=' + str(i * 25) + '&filter='
        # 2. 获取网页源码
        html_str = get_html_str(url)
        # 3. 提取数据
        get_data(html_str, data_list)
        # 4. 限制爬取的速度
        time.sleep(5)
    # 5. 写入excel
    into_excel(data_list)

5.8 完整源码

这里附上完整源码（注意：get_html_str(url)函数中的代理IP这里需要看5.1 获取代理IP自己去获取，博主的已过期），然后直接运行程序即可：

import re # 正则，用于提取字符串
import pandas as pd # pandas，用于写入Excel文件
import requests  # python基础爬虫库
from lxml import etree  # 可以将网页转换为Elements对象
import time  # 防止爬取过快可以睡眠一秒


def get_html_str(url):
    """发送请求，获取响应"""
    # 请求头模拟浏览器
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}

    # 添加代理IP（这里代理IP这里需要看`5.1 获取代理IP`自己去获取，博主的已过期）
    proxies = {
        "http": "http://183.134.17.12:9181",
    }
    # 添加请求头和代理IP发送请求
    response = requests.get(url, headers=headers, proxies=proxies)  #
    # 获取网页源码
    html_str = response.content.decode()
    # 返回网页源码
    return html_str


def get_data(html_str, data_list):
    """提取数据写入列表"""
    # 将html字符串转换为etree对象方便后面使用xpath进行解析
    html_data = etree.HTML(html_str)
    # 利用xpath取到所有的li标签
    li_list = html_data.xpath("//ol[@class='grid_view']/li")
    # 打印一下li标签个数看是否和一页的电影个数对得上
    print(len(li_list))  # 输出25，没有问题
    # 遍历li_list列表取到某一个电影的对象
    for li in li_list:
        # 用xpath获取每一个字段信息
        # 排名
        ranking = li.xpath(".//div[@class='pic']/em/text()")[0]
        # 电影名
        title = li.xpath(".//div[@class='hd']/a/span[1]/text()")[0]
        # 评分
        score = li.xpath(".//span[@class='rating_num']/text()")[0]
        # 评价人数
        evaluators_number = li.xpath(".//div[@class='star']/span[4]/text()")[0]
        evaluators_number = evaluators_number.replace('人评价', '')  # 将'人评价'替换为替换为空，更美观
        # 导演、主演
        str1 = li.xpath(".//div[@class='bd']/p[1]//text()")[0]
        # 利用正则提取导演名
        try:
            director = re.findall("导演: (.*?)主演", str1)[0]
            director = re.sub('\xa0', '', director)
        except:
            director = None
        # 利用正则提取主演
        try:
            performer = re.findall("主演: (.*)", str1)[0]
            performer = re.sub('\xa0', '', performer)
        except:
            performer = None
        # 上映时间、制片国家、电影类型都在这里标签下
        str2 = li.xpath(".//div[@class='bd']/p[1]//text()")[1]
        #
        try:
            # 通过斜杠进行分割
            str2_list = str2.split(' / ')
            # 年份
            year = re.sub('[\n ]', '', str2_list[0])
            # 制片国家
            country = str2_list[1]
            # 影片类型
            type = re.sub('[\n ]', '', str2_list[2])
        except:
            year = None
            country = None
            type = None
        url = li.xpath(".//div[@class='hd']/a/@href")[0]
        print({'排名': ranking, '电影名': title, '评分': score, '评价人数': evaluators_number, '导演': director,
               '主演': performer, '年份': year, '制片国家': country, '影片类型': type, '影片主页链接': url})
        data_list.append(
            {'排名': ranking, '电影名': title, '评分': score, '评价人数': evaluators_number, '导演': director,
             '主演': performer, '年份': year, '制片国家': country, '影片类型': type, '影片主页链接': url})


def into_excel(data_list):
    # 创建DataFrame对象
    df = pd.DataFrame(data_list)
    # 写入excel文件
    df.to_excel('电影Top250排行.xlsx')


def main():
    data_list = []  # 空列表用于存储每页获取到的数据
    # 1. 设置翻页
    for i in range(10):
        url = 'https://movie.douban.com/top250?start=' + str(i * 25) + '&filter='
        # 2. 获取网页源码
        html_str = get_html_str(url)
        # 3. 提取数据
        get_data(html_str, data_list)
        # 4. 限制爬取的速度
        time.sleep(5)
    # 5. 写入excel
    into_excel(data_list)


if __name__ == "__main__":
    main()

程序运行完毕后生成excel文件：

袁袁袁袁满
关注
  • 99
    点赞
  • 踩
  • 147
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 288
    评论
专栏目录
Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel（附上完整源码）.rar
07-27
Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel（附上完整源码）.rar
什么是代理IP（代理服务器）如何正确使用代理IP（代理服务器）
热门推荐
fzy18757569631的博客
10-20 1万+
.
Python爬虫实战：利用代理IP获取电商数据
最新发布
努力让自己发光，对的人才能迎着光而来
05-27 20万+
● 电商数据对于了解用户行为、优化营销策略、提高转化率等方面具有重要作用。●通过分析用户数据，企业可以找到目标用户，精准投放广告和推广活动，有效提高广告的转化率和投资回报率。●电商数据还可以用于个性化推荐、营销活动优化、供应链管理等场景，帮助企业提升用户体验和运营效率。亮数据代理IP免费试用。
ip代理
韩绘锦的博客
04-25 2万+
为什么会出现IP被封 网站为了防止被爬取，会有反爬机制，对于同一个IP地址的大量同类型的访问，会封锁IP，过一段时间后，才能继续访问 如何应对IP被封的问题 有几种套路： 修改请求头，模拟浏览器（而不是代码去直接访问）去访问 采用代理IP并轮换 设置访问时间间隔 如何获取代理IP地址 从该网站获取： https://www.xicidaili.com/ inspect -> 鼠标定位：...
什么是代理ip，代理ip的用途有哪些？
似梦初觉的博客
12-08 1796
代理IP是一个虚拟的IP地址，它可以让用户在网络上访问网站时隐藏自己的真实IP地址。有些网站会根据用户的IP地址来限制访问，例如国外的网站，一般情况下，中国用户是无法访问的，但是如果使用代理IP，就可以突破这种限制，让用户可以访问国外的网站。爬虫是指一种自动抓取网页内容的程序，它可以抓取网站上的大量信息，但是有些网站会限制爬虫的访问，如果使用代理IP，就可以突破这种限制，让爬虫可以抓取更多的信息。总之，代理IP的用途很多，它可以帮助用户突破网络限制，保护隐私，抓取网页内容，保护网络安全，以及节省流量。
IP代理与加速器：理解它们的区别与共同点
随便写写
09-21 2276
IP代理是一种网络服务，它允许用户通过代理服务器发送网络请求，从而隐藏自己的真实IP地址。它是网络请求的中间人，用户通过它向目标服务器发送请求，并从目标服务器获取响应。加速器是一种网络优化工具，主要作用是提高网络连接的稳定性和速度。通过在用户和目标服务器之间建立更快速、更稳定的连接，加速器可以帮助用户降低网络延迟，提高数据传输速度。网络加速器和代理服务器是两种常用的网络工具，它们具有不同的功能和优缺点。在选择使用它们时，应该根据自己的需求和网络环境来选择合适的工具，并注意保护个人隐私和安全风险。
IP代理解释|介绍|意思
编程百科-北京
09-26 217
代理服务器是介于浏览器和Web服务器之间的一台服务器，当你通过代理服务器上网浏览时，浏览器不是直接到Web服务器去取回网页，而是向代理服务器发出请求，由代理服务器来取回浏览器所需要的信息，并传送给你的浏览器。 主要的功能有： 突破自身IP访问限制： 1.访问国外站点。教育网、169网等网络用户可以通过代理访问国外网站。 2.访问一些单位或团体内部资源，如某大学FTP(前提是该代理地址在该资源的允许...
Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel(1).html
07-25
Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel(1).html
python 爬虫实战案例：爬取网易云音乐评价 源码
04-30
本实战案例将展示如何使用Python编写一个简单的网络爬虫，用于爬取网易云音乐上的歌曲评价。案例将涉及发送HTTP请求、解析网页内容以及数据提取的基本技术。 适用人群 编程初学者：希望通过实际项目学习网络爬虫的...
python 爬虫项目实战：批量爬取B站小视频 源码
04-30
本实战案例涉及使用Python编写一个爬虫程序，用于批量爬取B站（哔哩哔哩）上的小视频。这个案例将使用到requests库来发送HTTP请求，以及BeautifulSoup库来解析网页内容。 适用人群 Python开发者：希望提高网络爬虫...
python爬虫开发学习-爬取豆瓣排行榜电影数据(含GUI界面版)-源码.zip
04-08
这份Python爬虫源代码是一份非常实用的学习资料，它可以帮助用户快速掌握爬取豆瓣排行榜电影数据的技能。该代码包含了GUI界面版，使得用户可以更加方便地进行操作和管理。 该代码使用了Python的requests库和...
IP是如何代理的_怎么设置IP代理
weixin_34112181的博客
03-01 2276
IP是如何代理的_怎么设置代理IP方法： 打开菜单栏“工具” 下拉菜单“Internet选项” 选项“连接” 在“局域网设置”中选中目前使用的连接，然后点击右侧的“设置”； 在中间的“代理服务器”栏选中“使用代理服务器”； 在“地址” 和“端口”栏输入本站提供的HTTP代理服务器，然后确定。 转载于:https://blog.51cto.com/13982207/2356502...
一篇文章带你全方位了解“代理IP”
2301_79614376的博客
11-13 278
让我们看一下官方的解释：代理IP一般指代理服务器（Proxy Server），它是一种重要的服务器安全功能，它的工作主要在开放系统互联（OSI）模型的会话层，从而起到防火墙的作用。代理服务器最基本的功能是连接，大多被用来连接Internet（国际互联网）和Local Area Network（局域网）。此外还包括安全性、缓存、内容过滤、访问控制管理等功能。
关于IP代理的相关基础知识
langezuibang的博客
03-13 354
代理：破解封IP这种反爬机制。 什么是代理： ----代理服务器。 代理的作用： ----突破自身ip访问的限制。 ----隐藏自身真实IP 代理相关的网站： ----快代理 ----西祠代理 -----www.goubaijia.com 代理ip类型： http://www.goubanjia.com/ #代理ip -http: 应用到http协议对应的url中 -https: 应用到https协议对应的url中 代理ip匿名度： -----透明：服务器知道该次请求使用了代理，也知道请求对应的真实ip
什么是代理IP?代理IP有什么作用？
xiaoxionghttp的博客
08-29 356
IP是互联网上唯一身份地址和凭证，代理IP是上网过程中的一个中间平台，使用代理IP访问网站，由本机电脑先访问代理IP，再由代理IP访问目标网站，那么在网站的访问记录里留下的就是代理IP的地址。大数据企业在使用爬虫抓取数据时，用同样的IP频繁访问网站容易被识别和封禁，使用代理IP可以自动切换IP访问网站，获取数据信息。大数据时代下，代理IP在互联网行业的重要性越来越突出，代理IP不仅能够保护隐私，还能帮助提高访问网络的速度。
什么是ip代理？如何选择ip代理？ip代理哪家好？
2201_75767682的博客
12-09 1223
有时候我们希望保护自己的隐私，或者防止网络攻击，或者需要访问一些限制访问的网站。这时候，我们就需要使用代理IP。 代理IP是一种特殊的网络服务，它可以接收客户端发来的请求，并将这些请求转发给真正的目标服务器。代理IP会在每个请求中替换客户端的真实IP地址，从而达到隐藏真实IP的目的。这样，我们就可以在不暴露真实IP的情况下访问任何网站，并保护自己的隐私。 代理IP不仅仅能够提供匿名性和安全性，还可以提供更多的功能，比如内容过滤、缓存等。代理IP可以帮助我们更好的使用网络，并且可以满足不同的需求。代
用Python爬取电影数据并可视化分析_python电影数据分析
weixin_68789096的博客
06-12 6015
本次实验通过使用爬虫获取2016年-2023年的电影数据，并可视化分析的得出以下结论：1.2016年-2019年电影数量逐渐增大，2019年达到最大值，从2020年开始迅速逐年下降。2.发布电影数量最多的国家是中国和美国。3.电影类型最多的剧情片。4.电影片长呈正态分布，且片长和评分呈正相关关系。最后，给大家分享一份Python学习资料，都是我自己学习时整理的，希望可以帮到你！Python是一门非常不错的编程语言，就业前景好、薪资待遇高。
探秘国内IP代理购买：全面解析与实用建议
hgdlip的博客
03-23 572
随着网络空间的不断发展和扩大，越来越多的用户需要在互联网上获取访问其他国家或地区网站的需求。而为了实现这一目的，使用IP代理服务成为了一种常见的方式。在国内，选择合适的IP代理服务商并购买适合自己需求的IP代理已成为许多人关心的问题。虎观代理小二将对国内IP代理购买进行详细解析，为读者提供实用的建议和指导。
教你自己搭建一个ip池(绝对超好用！！！！)
Globalizationa的博客
01-15 1万+
随着我们爬虫的速度越来越快，很多时候，有人发现，数据爬不了啦，打印出来一看。 不返回数据，而且还甩一句话 是不是很熟悉啊？ 要想想看，人是怎么访问网站的？ 发请求，对，那么就会带有 request.headers， 那么当你疯狂请求别人的网站时候，人家网站的管理人员就会 觉得有点不对劲了， 他看看请求的 header 信息，一看吓一跳，结果看到的 headers 信息是这样的： Host: 127...
使用Python爬虫技术爬取近10年天气情况并写入Excel文件
06-08
好的，以下是一份可以实现此功能的 Python 代码： ```python import requests from bs4 import BeautifulSoup import openpyxl # 获取天气数据 url = 'http://www.tianqihoubao.com/lishi/beijing/month/{}.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 创建 Excel 文件 wb = openpyxl.Workbook() ws = wb.active ws.title = '北京天气' # 写入表头 ws['A1'] = '日期' ws['B1'] = '天气' ws['C1'] = '最高气温' ws['D1'] = '最低气温' # 循环爬取数据并写入 Excel for year in range(2012, 2022): for month in range(1, 13): html = requests.get(url.format(f'{year}{month:02d}'), headers=headers) soup = BeautifulSoup(html.content, 'html.parser') trs = soup.find_all('table', {'class': 'b'}).pop().find_all('tr')[1:] for tr in trs: tds = tr.find_all('td') date = f'{year}-{month:02d}-{tds[0].text}' weather = tds[1].text high_temp = tds[2].text low_temp = tds[3].text ws.append([date, weather, high_temp, low_temp]) # 保存 Excel 文件 wb.save('D:\\weather.xlsx') ``` 这段代码会首先访问天气网站，循环爬取近10年的天气数据，然后使用 openpyxl 库创建一个 Excel 文件，写入表头，将天气数据逐行写入 Excel 文件，最后保存 Excel 文件到 D 盘。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 288
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

袁袁袁袁满

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值