首先确定需求:从“用药参考”上获取药品的名称、适应症等信息保存到本地,为数据处理做准备
通过观察可以发现,不同药品的网址存在一定规律,即http://drugs.medlive.cn/drugref/html/2.shtml,“.shtml”前面的数字代表不同药品(按拼音顺序排列?)
这里我们把药品的范围限定在西药,经过多次试验可以发现其范围区间为2到14578,也就是说这一万四千多种药即是我们要爬取的目标
如果之前没有用python写过爬虫的话,在正式开始写之前还需要做一些准备工作,也就是安装Scrapy
http://www.jianshu.com/p/a03aab073a35这里有详细的教程
但是我在用这个教程的过程中安装Command Line Tools时出了点小问题,于是就直接按照http://railsapps.github.io/xcode-command-line-tools.html的方法装的Command Line Tools
除此之外如果按照默认路径安装Scrapy会出现安装失败的情况。参照http://blog.csdn.net/tangch0516/article/details/51378664即可解决
接下来就可以着手写爬虫了
首先在chrome浏览器中打开开发者界面,先看一下内页的结构,然后使用左上角的页面元素选择器找到所需元素所在标签。
我们可以发现药品的通用名称均为该格式,参考之前安卓开发所用的爬虫,其正则表达式应为
<label class=\"w110\">【通用名称】</label>\\s*\\s*(.*?)\\s*\\s*<
(.*?)为要匹配的内容
具体写法参照下图
import re
import urllib.request
import urllib
#网址
url1 = "http://drugs.medlive.cn/drugref/html/"
url2 = ".shtml"
for num in range(2,14579):
url = url1 + str(num) + url2
try:
#抓取页面
urlop = urllib.request.urlopen(url,timeout=100)
except Exception:
print("超时")
continue
#判断是否为html页面
if 'html' not in urlop.getheader('Content-Type'):
continue
#避免程序异常中止, 用try..catch处理异常
try:
#转换为utf-8码
data = urlop.read().decode('utf-8')
#print(data)
except:
continue
# 正则表达式提取页面中所有队列, 并判断是否已经访问过, 然后加入待爬队列
linkre1 = re.compile("<label class=\"w110\">【通用名称】</label>\\s*\\s*(.*?)\\s*\\s*<")
for x in linkre1.findall(data):##返回所有有匹配的列表
print(x)
linkre2 = re.compile("适应症:</a>\\s*</div>\\s*<div class=\"more-infomation\">\\s*<p>(.*?)</p>\\s*</div>")
for x in linkre2.findall(data):##返回所有有匹配的列表
print(x)
print(url)
在爬取的过程中发现某些网页显示超时,这说明某些网页404了,可能是该药品有过改动导致url失效