Python爬取药智网的中药材图谱网页

这次学习了python中的BeautifulSoup模块，并用bs爬取的药智网。网址：http://db.yaozh.com/tupu?p=

首先要安装bs，要注意版本问题，我一开始用的beautifulsoup4-4.4.1版本装不上，换成beautifulsoup4-4.2.0就可以了。

这是我写的爬取药智网的代码：

#coding=utf-8
from bs4 import BeautifulSoup
import urllib2
class ZYC:
    def __init__(self):
        self.user_agent = 'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)'
        self.headers = {'User_Agent' :self.user_agent}
    #获取源代码
    def getHtml(self,pageIndex):
        try:
            url='http://db.yaozh.com/tupu?p='+str(pageIndex)
            request=urllib2.Request(url,headers=self.headers)
            response=urllib2.urlopen(request)
            html=response.read()
            return html
        except  urllib2.URLError,e:
            if hasattr(e,'reason'):
                print u'loading error',e.reason
                return None
    #获取每页的数据
    def getPage(self):
        #事先将标题写入
        f=open('zyc.txt','a+')
        f.write("序号|中药材名称|图谱来源|页码|查看图谱|"+"\n")
        for i in range(1,11):
            html=self.getHtml(i)
            soup=BeautifulSoup(html)
            SJ=soup.find_all('tr')
            #删除每页重复类别标题
            #len(SJ)
            SJ.remove(SJ[0])#操作之前要先用len()函数看一下有没有超出列表索引范围
            for item in SJ:
                f.write(item.get_text('|',strip=True).encode('utf-8')+'\n')
        f.close()
spider=ZYC()
f=spider.getPage()

用了bs中的find_all()和get_text()

下面这个是借鉴（链接）的：

 def getSJ(self):
        for s in range(1,11):
            html=self.getHtml(s)
            soup=BeautifulSoup(html)
            pageSJ=soup.find_all('tr')
            if s==1:
                for item in pageSJ[0]:
                    if item not in ['\n','\t',' ']:
                        with open('SJ.txt','a') as f:
                            f.write(item.get_text(strip=True).encode('utf-8')+'|')
            f=open('SJ.txt','a')
            for i in pageSJ[1:]:
                f.write('\n')
                for item in i:
                    if item not in ['\n','\t',' ']:
                        # if item==None:#将空白项填入“None”
                        #     f.write('None'+'|')
                        # else:
                        f.write(item.get_text(strip=True).encode('utf-8')+'|')
            f.close()

因为我所爬取的这个网页没有空白项，所以我的代码可用，但要是有空白项，还是第二个比较好。一直在尝试解决这个问题。