爬虫—用20行python代码实现

准备模块

安装两个类库，requests和BeautifulSoup4
下载类库后执行：

pip install requests

pip install bs4

实现

我们爬取斗图拉网站（www.doutula.com)上的所有表情包www.doutula.com)

#导入模块
mport requests as req
from bs4 import BeautifulSoup
import os
import urllib
count=1

for i in range(1,3367):#爬取1到3367页的表情包
    url='https://www.doutula.com/photo/list/?page='+str(i)#URL网址
    response=req.get(url)
    content=response.content#获取URL
    soup=BeautifulSoup(content,'lxml')#调用类
    img_list=soup.find_all('img',attrs={'class':'img-responsive lazy image_dta'})
    for img in img_list:
        img_url=img['data-original']
        filename=str(count)+'.jpg'
        count=count+1
        path=os.path.join('D:/image',filename)
        urllib.request.urlretrieve(img_url,filename=path)

结果

在你设定的文件夹下就会有很多表情包。