python3简单爬虫（爬取各个网站上的图片）

最新推荐文章于 2024-10-28 00:38:50 发布

Shell_Zero

最新推荐文章于 2024-10-28 00:38:50 发布

阅读量1.4w

点赞数 2

分类专栏： Python初学者文章标签： python 爬虫编程

本文链接：https://blog.csdn.net/Shell_Zero/article/details/50759719

版权

本文介绍了如何使用Python3进行简单的网络爬虫编程，分别展示了两个实例：一是爬取网站上的图片，二是利用正则表达式抓取代理IP。尽管代码可能不美观，但对编程初学者来说，Python的实用性极具吸引力。

摘要由CSDN通过智能技术生成

不多说。Python能做出东西。这是对编程初学者的莫大激励了吧。2333333

下面就放码了。

第一个爬虫：

import urllib.request
import re
import os
foot='huaban001'
url_re=re.compile(r'<img src="(http://img.hb.aicdn.com/.+?)"')
url='http://huaban.com/favorite/beauty/'
def url_open(url):
    html=urllib.request.urlopen(url).read()
    return html
def get_img_adds(html):
    img_addrs=url_re.findall(html)
    img_addrs=list(set(img_addrs))
    img_addrs.remove('http://img.hb.aicdn.com/23a58517fb73f86bca85937f069724486b3e00a44caa-GMc99I_sq75sf')
    return img_addrs
def save_img(img_addrs,filename=0):
    for each in img_addrs:
       with open(str(filename)+'.jpg','wb') as f:
           filename+=1
           img=url_open(each)
           f.write(img)
def download_huaban_img():
 os.mkdir(foot)
 os.chdir(foot)
 html=url_open(url)
 img_addrs=get_img