python 多线程爬取百度图片

最新推荐文章于 2022-11-01 15:21:35 发布

鸡蛋饼小王子

最新推荐文章于 2022-11-01 15:21:35 发布

阅读量1.2k

点赞数

分类专栏： python 文章标签： python 多线程百度图片编码

本文链接：https://blog.csdn.net/luvalluo/article/details/78902989

版权

本文介绍了一个使用Python实现的多线程爬虫程序，该程序能根据关键字从百度图片中批量下载图片。代码从d://keyword文件读取关键字，每个关键字在单独的线程中执行爬取任务。

摘要由CSDN通过智能技术生成

最近学习python，磕磕碰碰写了一个根据关键字使用多线程爬取百度图片的程序。代码如下：

import os
import urllib.request
import threading
import re

#获取本地的要搜索关键字的名单
def getNameList(filename):
    #没加encoding='utf-8'导致UnicodeDecodeError: 'gbk' codec can't decode byte 0x8f in position 14: illegal multibyte sequence
    file = open(filename,encoding='utf-8')
    keywordlist = file.readlines()
    for i in range(len(keywordlist)):
        keywordlist[i] = keywordlist[i].replace(