python实例代码爬虫_Python 爬虫实例

下面是我写的一个简单爬虫实例

1.定义函数读取html网页的源代码

2.从源代码通过正则表达式挑选出自己需要获取的内容

3.序列中的htm依次写到d盘

#!/usr/bin/python

import re

import urllib.request

#定义函数读取html网页的源代码

def getHtml(url):

page = urllib.request.urlopen(url)

html = page.read()

return html

#从源代码通过正则表达式挑选出自己需要获取的内容

def getImg(html):

reg = r'href="(.*?\.htm)"'

imgre = re.compile(reg)

implist = re.findall(imgre,html)

#序列中的htm依次写到d盘

x = 0

for imgurl in implist:

urllib.request.urlretrieve(imgurl, 'D:\htm\%s.htm' % x)

x += 1

html = getHtml("http://www.10086.cn/hb/index_270_719.html")

html = html.decode('utf-8')

print(getImg(html))

运行程序结果：