python简易爬虫编写--图片获取

python简易爬虫编写--图片获取

原创  2018年03月04日 15:28:56

• 11

项目：抓取淘女郎图片，命名为姓名+城市

知识要点：

1，学会使用selenium的webdriver来模拟浏览器行为

2，熟悉并使用python爬虫的基本开源库

3，掌握正则表达式的基本用法

   找到目标网址

            https://mm.taobao.com/search_tstar_model.htm?

  首先编写一个简单的爬虫脚本用于爬取网页源代码，分析可行性

[python]  view plain  copy

1. import urllib.request  
2. from bs4 import BeautifulSoup  
3. url="https://mm.taobao.com/search_tstar_model.htm?"  
4. page=urllib.request.urlopen(url)  
5. html=page.read().decode('gbk')  
6. soup=BeautifulSoup(html,"html.parser")  
7. print(soup)  

发现网页采用ajax技术，我们可以使用webdriver来获取动态网页

最终代码：

[python]  view plain  copy

1. <span style="color:rgb(0,0,0);font-family:Consolas, Inconsolata, Courier, monospace;font-size:12px;background-color:rgb(240,240,240);">import urllib.request</span>  
2. import re  
3. from bs4 import BeautifulSoup  
4. import time  
5. import urllib.request  
6. from selenium import webdriver  
7. import os  
8. from lxml import etree  
9.   
10.   
11. def gethtml(url):  
12.     global driver  
13.     parser="html5lib"  
14.     browserPath='E:/虚拟浏览器/phantomjs-2.1.1-windows/bin/phantomjs.exe'  
15.     driver=webdriver.PhantomJS(executable_path=browserPath)  
16.     driver.get(url)  
17.     time.sleep(2.5)  
18.     driver.find_element_by_class_name("page-skip").send_keys(page)  
19.     driver.find_element_by_class_name("page-btn").click()  
20.     time.sleep(2)  
21.     bsOBj=BeautifulSoup(driver.page_source, parser)  
22.     return bsOBj  
23.       
24.       
25. def getjpg(bsOBj):  
26.     allpic=[]  
27.       
28.     jpgurl=re.findall(r'<div class="img"><img data-ks-lazyload="(.*?)" src=".*?"/></div>',str(bsOBj))  
29.     jpgurl1=re.findall(r'<div class="img"><img src="(.*?)"/></div>',str(bsOBj))  
30.     name=re.findall(r'<span class="name">(.*?)</span>',str(bsOBj))  
31.     site=re.findall(r'<span class="city">(.*?)</span>',str(bsOBj))  
32.     for i in range(0,len(jpgurl1)):  
33.         jpgurl.insert(i+1,jpgurl1[i])  
34.           
35.       
36.     #print(jpgurl)  
37.     cmd="taskkill /F /IM Phantomjs.exe"  
38.     os.mkdir('E:/taobao/%s/' % page)  
39.     os.system(cmd)  
40.     for k in range(0,len(jpgurl)):  
41.            img='http:'+jpgurl[k]  
42.            #print(img)  
43.            picname=name[k]+site[k]  
44.              
45.            urllib.request.urlretrieve(img,'E:/taobao/%s/' % page+'%s.jpg' % picname)  
46. firsturl='https://mm.taobao.com/search_tstar_model.htm?'  
47.   
48.   
49.   
50.   
51. for page in range(1,51):  
52.     bsOBj=gethtml(firsturl)  
53.     getjpg(bsOBj)  

效果图：