最近学完了Python语言基础语法,然后计划小试牛刀,抓取网络图片
以下是这次的代码。
首先先说下,这个代码还是很粗糙,如果对方东西太多自己电脑太弱鸡肯定会内存泄漏导致崩溃,解决办法就是将每一个抓取网络连接的方法写成生成器函数,这样就不那么耗内存,但是由于今天实在太晚了加上现在还在被代理的东西反着确实没心情优化。。。顺带,弱弱的问一句,设置代理只能自己买服务器吗?
import requests,os
from bs4 import BeautifulSoup
url='http://588ku.com/?h=bd&sem=1'
localdir='E:/book_test/imgs2'
time_out=100
def get_response(url):
'''获得网络回应'''
global links
req = requests.get(url,timeout=time_out)
req.close()
return req.text
def get_tags(text,ta):
'''找到你要的标签'''
soup = BeautifulSoup(text, 'lxml')
tags = soup.select(ta)