分享一次用Python抓取网络图片的经历

最近学完了Python语言基础语法,然后计划小试牛刀,抓取网络图片
以下是这次的代码。
首先先说下,这个代码还是很粗糙,如果对方东西太多自己电脑太弱鸡肯定会内存泄漏导致崩溃,解决办法就是将每一个抓取网络连接的方法写成生成器函数,这样就不那么耗内存,但是由于今天实在太晚了加上现在还在被代理的东西反着确实没心情优化。。。顺带,弱弱的问一句,设置代理只能自己买服务器吗?

import requests,os
from bs4 import BeautifulSoup
url='http://588ku.com/?h=bd&sem=1'
localdir='E:/book_test/imgs2'
time_out=100
def get_response(url):
    '''获得网络回应'''
    global links
    req = requests.get(url,timeout=time_out)

    req.close()
    return req.text

def get_tags(text,ta):
    '''找到你要的标签'''
    soup = BeautifulSoup(text, 'lxml')
    tags = soup.select(ta)
    
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值