Python爬虫之堆糖网图片（二）

堆糖网是一个可以搜索各种类型的图片的网站，如：校花，明星，猫，狗等等

同时，堆糖网是一个人动态加载的网站。也就是说你想不停获得图片地址需要动态加载，在后台可以获取下载链接。

代码如下：

# coding=gbk
#'https://www.duitang.com/napi/blog/list/by_search/?kw=%E6%A0%A1%E8%8A%B1&start=0&limit=1000'
import requests
import urllib.parse
import threading

#设置最大线程锁
thread_lock = threading.BoundedSemaphore(value=10)


def get_page(url):
    page = requests.get(url)
    page = page.content
    #将byte 转成 字符串
    page = page.decode('utf-8')
    return page

#label '校花'
def pages_from_duitang(label):
    pages = []
    url = 'https://www.duitang.com/napi/blog/list/by_search/?kw=%E6%A0%A1%E8%8A%B1&start=0&limit=100'
    label = urllib.parse.quote(label)
    for index in range(0,3600,100):
        u = url.format(label, index)
        print(u)
        page = get_page(u)
        pages.append(page)
    return pages
    
    
#print(get_page('https://www.duitang.com/napi/blog/list/by_search/?kw=%E6%A0%A1%E8%8A%B1&start=0&limit=1000'))
def findall_in_page(page,startpart,endpart):
    all_strings = []
    end = 0
    while page.find(startpart,end) != -1:
        start = page.find(startpart,end) + len(startpart)
        end = page.find(endpart,start)
        string = page[start:end]
        all_strings.append(string)
    return all_strings

def pic_urls_from_pages(pages):
    pic_urls = []
    for page in pages:
        urls = findall_in_page(page,'path":"','"')
        pic_urls.extend(urls)
    return pic_urls

def download_pics(url,n):
    r = requests.get(url)
    path = 'pics/' + str(n) + '.jpg'
    with open(path,'wb') as f:
        f.write(r.content)
    #下载完了，解锁
    thread_lock.release()   

        
def main(label):
    pages = pages_from_duitang(label)
    pic_urls = pic_urls_from_pages(pages)
    n = 0
    for url in pic_urls:
        n += 1 
        print('正在下载第{}张图片'.format(n))
        #上锁
        thread_lock.acquire()
        t = threading.Thread(target=download_pics,args=(url,n))
        t.start()
        
main('校花')

这里如果想下载其他类型的图片需要修改两个地方：

第一个是main 中将引号中的换乘爬取目标名称，第二个是地址中，

url = 'https://www.duitang.com/napi/blog/list/by_search/?kw=%E6%A0%A1%E8%8A%B1&start=0&limit=100'

标红的是爬取目标的编码后字符串，校花=%E6%A0%A1%E8%8A%B1 猫=%E7%8C%AB ...

那这些字符串怎么来？

以上。