第一个小爬虫

#引入模块request，re,Beautiful,time
from urllib import request
from bs4 import BeautifulSoup
import re,time,sys

#引入一个URL地址
url='https://www.zhihu.com/question/22918070'

#打开这个URL然后进行读取（以utf-8的编码格式）
html = request.urlopen(url).read().decode('utf-8')

#利用BeautifulSoup对已经读取的url进行parser模式的解析
soup = BeautifulSoup(html, 'html.parser')

#利用find_all对已经解析好的soup进行筛选（关键字，正则）
links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))

#设置图片存储路径
path = r'D:\测试'

#遍历links中的每一个链接（link）
for link in links:
#link.attrs['src']返回一个属性字典
　　print(link.attrs['src'])
#request.urlretrieve()将远程数据下载到本地
　　request.urlretrieve(link.attrs['src'],path+'\%s.jpg%time.time())

转载于:https://www.cnblogs.com/TryFirst/p/9307190.html