python 语法 速成_python 速成 day5

# 爬虫三部曲

# 1.发送请求

def get_page(url):

# 添加请求头信息

headers = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',

'Referer': 'http://www.netbian.com/',

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',

}

response = requests.get(url=url, headers=headers)

# print(response.status_code)

# 由于页面的字符编码是gbk，所以需要转为为gbk，否则乱码

#

response.encoding = 'gbk'

if response.status_code == 200:

return response

# 2.解析数据

def parse_index(text):

# 通过 正则表达式 解析数据，并提取 图片url

#

image_url_list = re.findall('

# print('删除前: ', image_url_list)

# 如果广告图片存在，则删除

if 'http://img.netbian.com/file/2018/1218/5174f6bd57412ee0d66bcff52629cf5e.jpg' in image_url_list:

# 删除列表中的广告图片

image_url_list.remove('http://img.netbian.com/file/2018/1218/5174f6bd57412ee0d66bcff52629cf5e.jpg')

# 如果广告图片存在，则删除

if 'http://img.netbian.com/file/2018/1218/2c953b94fcb487c210cb8816f7146148.jpg' in image_url_list:

# 删除列表中的广告图片

image_url_list.remove('http://img.netbian.com/file/2018/1218/2c953b94fcb487c210cb8816f7146148.jpg')

if 'http://img.netbian.com/file/2019/0304/d7718c988ae353a6531742bb92d97e91.jpg' in image_url_list:

image_url_list.remove('http://img.netbian.com/file/2019/0304/d7718c988ae353a6531742bb92d97e91.jpg')

# print('删除前: ', image_url_list)

return image_url_list

# 3.保存数据

def save_image(number, image_url):

''':param number: 图片的张数:param image_url: 图片的url地址:return:'''

# 1) 对图片url地址发送请求，获取二进制流数据

response = get_page(image_url)

# 2) 拼接图片的存放地址，以图片张数作为图片名

# 注意: 以下过程是自动创建 images 文件夹，用于存放图片文件

# 获取当前执行文件的所在文件夹目录

file_dir = os.path.dirname(__file__)

# 拼接images图片存放文件夹路径

images_dir = os.path.join(file_dir, 'images')

# 判断文件夹是否存在，若不存在则创建

if not os.path.exists(images_dir):

os.mkdir(images_dir)

# 拼接图片的存放路径

image_path = os.path.join(images_dir, '%s.jpg' % number)

# 3) 打开文件，将二进制流数据写入文件中

with open(image_path, 'wb') as f:

f.write(response.content)

print('第 [%s] 张图片下载完成......' % number)

# 用于表示第几张图片的数

number = 1

# 1) 分析图片页面的规律，然后进行拼接

for line in range(1, 1314):

# 2) 拼接每一个图片页

url = 'http://www.netbian.com/index_%s.htm' % line

# 判断如果是第一页，就固定一个第一页的url地址

if line == 1:

url = 'http://www.netbian.com/index.htm'

# print(url)

# 3) 对每一个 "图片页url" 地址发送请求，获取图片

response = get_page(url)

print('=' * 50, '第 [%s] 页' % line, '=' * 50)

# print(response.text)

# 4) 开始解析图片url与图片名字

image_url_list = parse_index(response.text)

# 对图片url列表地址 循环 遍历 取出

for image_url in image_url_list:

# 5) 每张图片的存放地址都获取到了，可以对图片数据的地址发送请求并保存

save_image(number, image_url)

number += 1