python表情包爬虫程序_Python 网络爬虫---爬取表情包

import requests

import os

import urllib.parse

from bs4 import BeautifulSoup

print('-------**欢迎下载表情包**--------\n表情包会下载到当前文件所在位置')

print('请在下方输入你要下载的表情包关键字然后点击回车，直接关闭或者Ctrl+c可以终止程序----')

# 函数：判断表情包是不是0个

def is_zero(url):

test = requests.get(url)

msg = test.content

s = BeautifulSoup(msg, 'html.parser')

menu = s.find_all(attrs={'class': 'item active'})

tip = menu[0].text.strip()

return tip

# 函数：判断是否存在关键词文件夹，没有就创建

def make_dir(key):

if not os.path.exists(key):

os.mkdir(key)

# 函数：爬虫下载图片

def down_img(url, key):

# 拿到所有页码的表情

page = 1

# 定义变量，作为图片名称

count = 1

# 定义列表存放图片地址

img_list = []

# 定义标志表示程序是否运行

flag = True

while True:

url += '/type/bq/page/%d.html' % page

page += 1

# 爬虫网页,获取网页html标签

response = requests.get(url)

content = response.content

# 通过网页内容找到图片地址列表

soup = BeautifulSoup(content, 'html.parser')

result = soup.findAll(attrs={'class': 'ui image bqppsearch lazy'})

# 循环遍历图片列表

for i in result:

# 拿到图片地址与盛放path的列表进行比对，如果存在就终止程序

path = i['data-original']

if path not in img_list:

img_list.append(path)

# 判断文件名是不是http://开头，没有就加上https://fabiaoqing.com

if path.startswith('http'):

img_msg = requests.get(path)

else:

img_msg = requests.get('https://fabiaoqing.com' + path)

# 写入文件

with open(key + '/' + str(count) + '.gif', 'wb') as fw:

fw.write(img_msg.content)

print('第' + str(count) + '张:' + path, '下载成功')

count += 1

else:

flag = False

if not flag:

print('下载完成')

break

# 主函数

def main():

# 获取下载地址

key = input('----->请输入：')

keyword = urllib.parse.quote(key)

url = "https://fabiaoqing.com/search/search/keyword/" + keyword

if is_zero(url) == '表情(0)':

# 判断如果表情是0，就返回一句话

print('哦 no 我们没有%s的表情包' % key)

else:

# 调用函数创建文件夹

make_dir(key)

# 如果表情不是0个，就开始爬虫下载

down_img(url, key)

if __name__ == '__main__':

main()

input('按回车键退出----')