python怎么爬取图片--以豆瓣电影top250为例

于 2024-05-15 06:32:27 发布
阅读量157 收藏 2
点赞数 2
文章标签： python 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_22331215/article/details/138886298
版权

一、豆瓣电影图片爬取完整代码

import requests
from bs4 import BeautifulSoup
 
def rqdm(page): #page 0-10  的数字 
    cookies = {
        'bid': 'SAuj7a0wxfE',
        '_pk_ref.100001.4cf6': '%5B%22%22%2C%22%22%2C1715653858%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D6Y-aEUQlcoBy5UlLGRR5e168IWs1vBRTCigsJBcmo24lIcGUj8aWr0jBF3bSDN8k%26wd%3D%26eqid%3De5b7863d00011148000000036642ccde%22%5D',
        '_pk_id.100001.4cf6': '909f5217bf632b62.1715653858.',
        '_pk_ses.100001.4cf6': '1',
        'ap_v': '0,6.0',
        '__utma': '30149280.2082474441.1715653858.1715653858.1715653858.1',
        '__utmb': '30149280.0.10.1715653858',
        '__utmc': '30149280',
        '__utmz': '30149280.1715653858.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic',
        '__utma': '223695111.1139887529.1715653858.1715653858.1715653858.1',
        '__utmb': '223695111.0.10.1715653858',
        '__utmc': '223695111',
        '__utmz': '223695111.1715653858.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic',
        '__gads': 'ID=a237730cef6ecf8b:T=1715653859:RT=1715653859:S=ALNI_MYNw1QcI01XmONRVcnu8Ss_YVq3Ng',
        '__gpi': 'UID=00000e1bb98e72ab:T=1715653859:RT=1715653859:S=ALNI_MYZpOdCEhfn0VtOcWSo0Xk7CIcB2A',
        '__eoi': 'ID=8d7d8a24a7588f7d:T=1715653859:RT=1715653859:S=AA-AfjazxlgfDhvQPXw9IvwOChbu',
        '__yadk_uid': 'YlTsOIy4V94FoIKvzG7ijYS30DHbVYsJ',
    }
    
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        
        'Referer': 'https://movie.douban.com/top250',
        'Sec-Fetch-Dest': 'document',
        'Sec-Fetch-Mode': 'navigate',
        'Sec-Fetch-Site': 'same-origin',
        'Sec-Fetch-User': '?1',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
        'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
    }
    
    params = {
        'start': str(page*25),
        'filter': '',
    }
    
    response = requests.get('https://movie.douban.com/top250', params=params, cookies=cookies, headers=headers)
    return response.text 
         
def getpic(pages):
    for page in range(0,pages):
        soup=BeautifulSoup(rqdm(page),'lxml') 
        lis=soup.find('div',class_='article').ol.findAll('li')
        for i in range(len(lis)):
            pic_alt=lis[i].find('div',class_='pic').a.img.get('alt')
            pic_link=lis[i].find('div',class_='pic').a.img.get('src')
            pic=requests.get(pic_link)
            #time.sleep(3)
            with open(f'results/{pic_alt}.webp','wb') as f: #注意图片的保存
                f.write(pic.content)
  
if __name__=="__main()__":
    getpic(5) # 我们这里只爬取5页，当然可以爬取全部

二、分步骤演示代码的写作

封装好的代码其实是一步一步的改写过来的，特别是初学者尤其应该如此。只有当后期非常熟练了，就可以跳过中间步骤。

第一步：请求网页

import requests
from bs4 import BeautifulSoup
 cookies = {
    'bid': 'SAuj7a0wxfE',
    '_pk_ref.100001.4cf6': '%5B%22%22%2C%22%22%2C1715653858%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D6Y-aEUQlcoBy5UlLGRR5e168IWs1vBRTCigsJBcmo24lIcGUj8aWr0jBF3bSDN8k%26wd%3D%26eqid%3De5b7863d00011148000000036642ccde%22%5D',
    '_pk_id.100001.4cf6': '909f5217bf632b62.1715653858.',
    '_pk_ses.100001.4cf6': '1',
    'ap_v': '0,6.0',
    '__utma': '30149280.2082474441.1715653858.1715653858.1715653858.1',
    '__utmb': '30149280.0.10.1715653858',
    '__utmc': '30149280',
    '__utmz': '30149280.1715653858.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic',
    '__utma': '223695111.1139887529.1715653858.1715653858.1715653858.1',
    '__utmb': '223695111.0.10.1715653858',
    '__utmc': '223695111',
    '__utmz': '223695111.1715653858.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic',
    '__gads': 'ID=a237730cef6ecf8b:T=1715653859:RT=1715653859:S=ALNI_MYNw1QcI01XmONRVcnu8Ss_YVq3Ng',
    '__gpi': 'UID=00000e1bb98e72ab:T=1715653859:RT=1715653859:S=ALNI_MYZpOdCEhfn0VtOcWSo0Xk7CIcB2A',
    '__eoi': 'ID=8d7d8a24a7588f7d:T=1715653859:RT=1715653859:S=AA-AfjazxlgfDhvQPXw9IvwOChbu',
    '__yadk_uid': 'YlTsOIy4V94FoIKvzG7ijYS30DHbVYsJ',
}

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    # 'Cookie': 'bid=SAuj7a0wxfE; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1715653858%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D6Y-aEUQlcoBy5UlLGRR5e168IWs1vBRTCigsJBcmo24lIcGUj8aWr0jBF3bSDN8k%26wd%3D%26eqid%3De5b7863d00011148000000036642ccde%22%5D; _pk_id.100001.4cf6=909f5217bf632b62.1715653858.; _pk_ses.100001.4cf6=1; ap_v=0,6.0; __utma=30149280.2082474441.1715653858.1715653858.1715653858.1; __utmb=30149280.0.10.1715653858; __utmc=30149280; __utmz=30149280.1715653858.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utma=223695111.1139887529.1715653858.1715653858.1715653858.1; __utmb=223695111.0.10.1715653858; __utmc=223695111; __utmz=223695111.1715653858.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __gads=ID=a237730cef6ecf8b:T=1715653859:RT=1715653859:S=ALNI_MYNw1QcI01XmONRVcnu8Ss_YVq3Ng; __gpi=UID=00000e1bb98e72ab:T=1715653859:RT=1715653859:S=ALNI_MYZpOdCEhfn0VtOcWSo0Xk7CIcB2A; __eoi=ID=8d7d8a24a7588f7d:T=1715653859:RT=1715653859:S=AA-AfjazxlgfDhvQPXw9IvwOChbu; __yadk_uid=YlTsOIy4V94FoIKvzG7ijYS30DHbVYsJ',
    'Referer': 'https://movie.douban.com/top250',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
    'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

params = {
    'start': '0',
    'filter': '',
}

response = requests.get('https://movie.douban.com/top250', params=params, cookies=cookies, headers=headers)
response.text 

 ### 第二步：解析网页
soup=BeautifulSoup(response.text,'lxml')

第三步：提取内容

lis=soup.find('div',class_='article').ol.findAll('li')
for i in range(len(lis)):
    pic_alt=lis[i].find('div',class_='pic').a.img.get('alt')
    pic_link=lis[i].find('div',class_='pic').a.img.get('src')
    pic=requests.get(pic_link)
    with open(f'results/{pic_alt}.webp','wb') as f: #注意图片的保存
        f.write(pic.content)

第四步：循环爬取多页

for i in range(1,10):
    url='https://movie.douban.com/top250?start={}&filter='.format(i*25)
    print(url)
    response = requests.get(url, cookies=cookies, headers=headers)
    soup=BeautifulSoup(response.text,'lxml') 
    lis=soup.find('div',class_='article').ol.findAll('li')
    for i in range(len(lis)):
        pic_alt=lis[i].find('div',class_='pic').a.img.get('alt')
        pic_link=lis[i].find('div',class_='pic').a.img.get('src')
        pic=requests.get(pic_link)
        #time.sleep(3)
        with open(f'results/{pic_alt}.webp','wb') as f: #注意图片的保存
            f.write(pic.content)

通过以上四个步骤，我们就可以轻而易举地把代码封装起来，方便下次直接调用。

乐之杂货铺
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
怎么用python爬豆瓣_使用python爬取豆瓣电影图片（-）
weixin_29026387的博客
12-29 721
学python没多久，主要想用它来做爬虫，写api建议用node.js,做全站页面渲染用php搞定，做爬虫还得看python:这里没有用python的一些爬虫框架，先采用python内置模块urllib直接处理页面抓取，然后解析内容然后直接下载图片：直接抓取豆瓣图片api，解析并下载图片:# -*- coding: utf-8 -*-import jsonimport urllibimport r...
Python-爬虫爬取豆瓣top250图片
12-21
Python-爬虫爬取豆瓣top250图片Python-爬虫爬取豆瓣top250图片效果整体代码具体步骤 Python-爬虫爬取豆瓣top250图片 最近几天一直在学习爬虫，今天终于成功的写出了一个爬虫程序——爬取豆瓣排名前250的图片。豆瓣网top250首页链接 效果 先来看看最终的效果： 整体代码 整体的代码还是比较简单的，先来看看代码。 import requests import re import os CAPTCHA_IMAGE_FOLDER = "D:\douban" headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; W
python爬虫慕课网利用xpath_python爬虫实践——零基础快速入门（二）爬取豆瓣电影...
weixin_39825941的博客
12-10 501
爬虫又称为网页蜘蛛，是一种程序或脚本。但重点在于，它能够按照一定的规则，自动获取网页信息。爬虫的基本原理——通用框架1.挑选种子URL；2.讲这些URL放入带抓取的URL列队；3.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。4.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。爬虫获取网页信息和人工获取信息，其实...
python3 爬虫—爬取豆瓣电影图片（一）
heshushun的博客
08-29 3688
内容： 爬取豆瓣电影首页 https://movie.douban.com/  显示出来的图片，并将其保存于本地路径中。 网页部分截图： 原理： 1.使用内置库：urllib.request 获取请求得到网页数据 ； 2.利用header 进行伪装浏览器； 3.再使用正则表达式 r'(https:[^s]*?(jpg|png|gif))' 取出照片地址 4.创
python爬取豆瓣top250并下载图片
10-03
根据b站学习视频一步步做到这里，代码作用，爬取豆瓣top250，信息导入到excel表内，并且下载图片，刚入门，仅供参考
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析
热门推荐
qq_44777595的博客
09-26 5万+
本次程序只爬取了豆瓣top250电影的展示页面的数据，没有爬取电影详情页的数据。在前面我们已经获取了每一部电影详情页的链接links，如果想要爬取电影的详情页，可以通过for循环遍历列表links，对每一个详情页发起请求，从而获取电影详情页的数据并进行解析。
Python 爬取豆瓣电影Top250
12-21
【Python 爬虫爬取豆瓣电影Top250】\n\n在Python编程中，爬虫技术是一种用于自动获取网页内容的工具，它能够帮助我们高效地抓取网络上的大量信息。本教程将介绍如何使用Python来爬取豆瓣电影Top250的电影封面和基本...
Python-Scrapy项目mysqlmongodb豆瓣top250电影
08-10
学习python时，爬虫是一种简单上手的方式，应该...本项目用Scrapy框架实现了抓取豆瓣top250电影，并将图片及其它信息保存下来。爬取豆瓣top250电影不需要登录、没有JS解析、而且只有10页内容，用来练手，太合适不过了。
爬取豆瓣电影TOP250
05-28
模拟谷歌浏览器爬取豆瓣电影TOP250，爬取信息包括电影详情链接、图片链接、影片中文名、影片外国名、评分、评价数、概况、相关信息等。适用于Python初学者以及Python爱好者用于练习，代码注释清晰、可读性强。若下载...
python爬虫——爬取豆瓣top250电影数据（适合初学者）
weixin_52135595的博客
09-12 4万+
爬取豆瓣top250其实是初学者用于练习和熟悉爬虫技能知识的简单实战项目，通过这个项目，可以让小白对爬虫有一个初步认识，因此，如果你已经接触过爬虫有些时间了，可以跳过该项目，选择更有挑战性的实战项目来提升技能。当然，如果你是小白，这个项目就再适合不过了。那么就让我们开始吧！目录一、实战1.对豆瓣网网站进行Ajax分析2.提取数据二、python完整代码（两种方法）bs4方法正则式方法。
Python爬虫爬取豆瓣高分电影附源码(详细适合新手)
gushuiwuqiu的博客
05-29 2万+
前言 刚学matplotlib练练手 一、查看网页源码 通过搜索我们可以发现网页源码中并没有我们想要抓取的内容 二、打开开发者工具(F12) 重新刷新下网页 可能有人会要问刷新完有这么多数据这怎么找，我们可以通过搜索关键词来找 获取请求地址 代码 获取数据 def url_parse(): url="https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%
Python 爬虫 爬取豆瓣Top 250 并将海报图片爬取下来保存
hijacklei的博客
07-17 9967
本文章的所有代码和相关文章， 仅用于经验技术交流分享，禁止将相关技术应用到不正当途径，滥用技术产生的风险与本人无关。 本文章是自己学习的一些记录。 爬取豆瓣top 250 现在的很多学习的教程例子都是爬取豆瓣影评、排名这类典型的案例 最近在学习爬虫的过程中正好自己重新温习一下学习的内容，爬取豆瓣top250，并且自己写了将海报图片爬取下来保存到本地。 开始 就像是之前我写几篇博客中那样进行爬取，爬取豆瓣top 250是分页的一个爬取 和我之前写的boss那个类似 直接上源码 #coding=utf-8
python爬虫之豆瓣首页图片爬取
最新发布
jolinoy的博客
01-30 850
【代码】python爬虫之豆瓣首页图片爬取。
python爬取豆瓣电影图片并生成评分柱状图
pengxiang1998的博客
07-29 2879
博主在学习python爬虫后，实现了一个爬取豆瓣电影评分并形成柱状图，并下载电影海报，实现效果如图所示 首先是爬取电影信息 def get_data(): url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=330&page_start=0' headers = { 'Use
喜欢看电影来哦！教你如果使用Python网络爬虫爬取豆瓣高分电影！
y4544159的博客
09-30 4522
【一、项目背景】 豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。可以记录想看、在看和看过的电影电视剧 、顺便打分、写影评。极大地方便了人们的生活。 今天以电视剧（美剧）为例，批量爬取对应的电影，写入csv文档 。用户可以通过评分，更好的选择自己想要的电影。 【二、项目目标】 获取对应的电影名称，评分，详情链接，下载 电影的图片，保存文档。 【三、涉及的库和网站】 1、网址如下： https://movie.douban.com/j/search_subjects?type
使用python爬取豆瓣电影图片（-）
zfeig的专栏
12-18 2503
学python没多久，主要想用它来做爬虫，写api建议用node.js,做全站页面渲染用php搞定，做爬虫还得看python: 这里没有用python的一些爬虫框架，先采用python内置模块urllib直接处理页面抓取，然后解析内容然后直接下载图片： 直接抓取豆瓣图片api，解析并下载图片: # -*- coding: utf-8 -*- import json impor
python爬虫的初体验，爬取豆瓣Top250电影的图片
GCCHEN__的博客
04-06 5625
一、爬取豆瓣Top250源码import requests url = 'https://movie.douban.com/top250?start=0&filter=' data = requests.get(url) print(data.text) 二、查看将要爬取的数据的结构1、在网站点击F12查看网页代码，选择图片元素查找其代码的位置然后鼠标右键选择编辑...
python爬虫实战---豆瓣电影top250的电影信息抓取
鱼非子
09-01 5186
本文主要抓取豆瓣电影top250榜单里面的电影数据，提取的数据包括电影名称、电影的链接、电影的星级、电影引言、电影的评论 人数等。 导入包 from bs4 import BeautifulSoup as bs---进行网页解析 import requests---用于网页请求 import time---用于延长时间,防止过于快速抓取数据，封ip import re---正则表达式使用...
用python 爬取豆瓣网Top250电影图片，将电影图片获取后存储到films_pic文件夹中；
06-10
好的，这是一个比较简单的爬虫任务，可以使用`requests`库和`beautifulsoup4`库来实现。以下是代码实现的步骤： 1. 导入所需库 ```python ...注意：请在下载图片时尊重豆瓣网站的版权，勿用于商业用途。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乐之杂货铺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值