分享一次用Python抓取网络图片的经历

最新推荐文章于 2024-04-21 23:19:05 发布

C3程

最新推荐文章于 2024-04-21 23:19:05 发布

阅读量438

点赞数

分类专栏： Python学习 Python练习小项目文章标签：爬虫爬取图片 requests beautifulsoup

本文链接：https://blog.csdn.net/C2496649361/article/details/81058750

版权

本文记录了一位Python初学者尝试抓取网络图片的过程。使用了requests和BeautifulSoup库，但代码存在内存泄漏风险，作者计划通过生成器函数优化。在抓取过程中遇到远程主机关闭连接等问题，计划后续研究代理设置。此外，讨论了替代requests和BeautifulSoup的库，如urllib和xml解析库。未来目标是创建一个可直接下载指定图片的工具。

摘要由CSDN通过智能技术生成

最近学完了Python语言基础语法，然后计划小试牛刀，抓取网络图片
以下是这次的代码。
首先先说下，这个代码还是很粗糙，如果对方东西太多自己电脑太弱鸡肯定会内存泄漏导致崩溃，解决办法就是将每一个抓取网络连接的方法写成生成器函数，这样就不那么耗内存，但是由于今天实在太晚了加上现在还在被代理的东西反着确实没心情优化。。。顺带，弱弱的问一句，设置代理只能自己买服务器吗？

import requests,os
from bs4 import BeautifulSoup
url='http://588ku.com/?h=bd&sem=1'
localdir='E:/book_test/imgs2'
time_out=100
def get_response(url):
    '''获得网络回应'''
    global links
    req = requests.get(url,timeout=time_out)

    req.close()
    return req.text

def get_tags(text,ta):
    '''找到你要的标签'''
    soup = BeautifulSoup(text, 'lxml')
    tags = soup.select(ta)