# -*- encoding: UTF-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import urllib
import urllib2
from lxml import etree
#找出所有帖子的链接
def loadPage(url):
"""
作用:根据url发送请求,获取服务器响应文件
url:需要爬取的url地址
"""
#headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}
request=urllib2.Request(url)
html=urllib2.urlopen(request).read()
#解析HTML文档为HTML DOM模型
content=etree.HTML(html)
#返回所有匹配成功的列表集合
link_list=content.xpath('//div[@class="t_con cleafix"]/div/div/div/a/@href')
for link in link_list:
#组合为每个帖子的链接
fulllink="http://tieba.baidu.com"+link
loadimage(fulllink)
# #取出每个帖子里的每个图片的链接
def loadimage(link):
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}
request=urllib2.Request(link,headers=headers)
html=urllib2.urlopen(request).read()
#解析HTML文档为HTML DOM模型
content=etree.HTML(html)
#返回帖子里的所有图片链接的集合
link_list=content.xpath('//img[@class="BDE_Image"]/@src')
for link in link_list:
print link
writeimage(link)
#根据图片的url。把图片下载
def writeimage(link):
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"}
request=urllib2.Request(link,headers=headers)
response=urllib2.urlopen(request)
image=response.read()
#取出链接的后10位作为文件的名字
filename=link[-10:]
#把图片写在文档里面
with open(filename,"wb") as f:
f.write(image)
print "-"*30
def tiebaspider(url,beginpage,endpage):
"""
作用:贴吧爬虫调度器,负责组合处理每个页面的url
url:贴吧url的前部分
beginpage:起始页
endpage:终止页
"""
for page in range(beginpage,endpage+1):
pn=str((page-1)*50)
fullurl=url+"&pn="+str(pn)
loadPage(fullurl)
if __name__=='__main__':
print u"输入关键字:",
kw=raw_input()
print u"输入起始页",
beginpage=int(raw_input())
print u"最后一页:",
endpage=int(raw_input())
url="http://tieba.baidu.com/f?"
key=urllib.urlencode({"kw":kw})
fullurl=url+key
tiebaspider(fullurl,beginpage,endpage)
不习惯用正则表达式的可以使用llxml库把html解析成dom,然后用xpath来解析,更方便
lxml库和贴吧图片下载案例
最新推荐文章于 2023-10-15 19:11:15 发布