爬虫简介
- 简单爬虫框架,程序入口
- url管理器
- 网页下载器
- 网页解析器
- 网页输出保存
爬虫编程的意义:爬取天下数据,为我所用
爬虫禁忌:爬亦有道,同一网站只开启一线程,抓取时间间隔 10*t的抓取间隔(t是download时间)比较合理。
本例采用python内存法,存储临时数据
set()集合
目标是爬取百科中 python 页面的所有链接的内容
目录结构:
└─craw_spider
html_downloder.py
html_outputer.py
html_parser.py
spider_main.py
url_manager.py
init.py
spider_main.py
#!/usr/bin/env python
#-*-coding:utf-8 -*-
from craw_spider import url_manager, html_parser, html_outputer,html_downloader
#定义一个类
class SpiderMain (object):
def __init__(self):
# 引入url_manager页面的url处理器,将返回的值赋给urls池
self.urls=url_manager.UrlManager()
#引入网页下载器,将返回的值赋给downloader
self.downloader=html_downloader.HtmlDownloader()
#引入网页分析器,将返回的值赋给parser
self.parser=html_parser.HtmlParser()
#引入输出器,将返回的值赋给outputer
self.outputer=html_outputer.HtmlOutputer()
#定义抓取函数
def craw(self, root_url):
count=1
#引用add_new_url 函数处理 根url
self.urls.add_new_url(root_url)
#如果urls池中有新的url
while self.urls.has_new_url():
try:
new_url=self.urls.get_new_url() #将得到的值赋给new_url
print("craw %d : %s"%(count,new_url))
html_cont=self.downloader.download(new_url) #得到下载器下载的内容
new_urls,new_data=self.parser.parse(new_url,html_cont) #得到过滤器过滤后的url池,和内容
self.outputer.collect_data(new_data) #输出器输出网页内容数据
if count==10: #定义抓取的页数,勿设置数量过多会让对方服务器超负荷。
break
count+=1
except:
print("craw failed") #捕获异常
self.outputer.output_html()
if __name__=="__main__":
root_url="http://baike.baidu.com/view/21087.htm" #根url
obj_spider=SpiderMain() #实例化
obj_spider.craw(root_url) #执行
url_manager.py
#!/usr/bin/env python
#-*-coding:utf-8 -*-
#url管理器
class UrlManager(object):
def __init__(self):
self.new_urls=set() #新url池
self.old_urls=set() #旧url池
def add_new_url(self,url): #将url添加到url池中
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_new_urls(self,urls): #批量添加url
if urls is None or len(urls)==0:
return
for url in urls:
self.add_new_url(url)
def has_new_url(self): #如果url池中有新的url则返回真
return len(self.new_urls) !=0
def get_new_url(self): #将新的url 处理后放入旧池中
new_url=self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
html_downloder.py
#!/usr/bin/env python
#-*-coding:utf-8 -*-
import urllib
#下载器
class HtmlDownloader(object):
def download(self,url):
if url is None:
return None
response=urllib.urlopen(url) #打开网页获取内容
if response.getcode()!=200: #如果返回不是200,则说明获取失败
return None
return response.read() #否则返回内容
html_parser.py
#!/usr/bin/env python
#-*-coding:utf-8 -*-
from bs4 import BeautifulSoup
import re
from urllib.parse import urlparse
class HtmlParser(object):
def parse(self,page_url,html_cont):
if page_url is None or html_cont is None:
return
soup=BeautifulSoup(html_cont,"html.parser",from_encoding="utf-8")
new_urls=self.__get_new_urls(page_url,soup)
new_data=self.__get_new_data(page_url,soup)
return new_urls,new_data
def __get_new_urls(self, page_url, soup):
new_urls=set() #初始化一个集合
#找出所有的连接
links=soup.find_all("a",href=re.compile(r"/view/\d+/.html"))
for link in links:
new_url=link["href"]
#调用urljoin函数,参考 page_url 生成新的连接。自动获取域名,然后拼接
new_full_url=urlparse.urljoin(page_url,new_url)
new_urls.add(new_full_url)
return new_urls
def __get_new_data(self, page_url, soup):
res_data={} #初始化一个字典
res_data["url"]=page_url
title_node=soup.find("dd",class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data["title"]=title_node.get_text() #得到节点中的文本,标题
summary_node=soup.find("div",class_="lemma-summary")
res_data["summary"]=summary_node.get_text() #获取文章内容
return res_data
html_outputer.py
#!/usr/bin/env python
#-*-coding:utf-8 -*-
#输出器
class HtmlOutputer(object):
def __init__(self):
self.datas=[]
def collect_data(self,data): #收集所有网页内容
if data is None:
return
self.datas.append(data) #加入到列表
def output_html(self):
fout=open("output.html","w") #写入到文件
fout.write("<html>")
fout.write("<body>")
fout.write("<table>")
for data in self.datas: #循环写入
fout.write("<tr>")
fout.write("<td>%s</td>"%data["url"])
fout.write("<td>%s</td>"%data["title"])
fout.write("<td>%s</td>"%data["summary"])
fout.write("</table")
fout.write("</body>")
fout.write("</html>")
fout.close()
以上代码仅供参考