Python:网页的抓取、过滤和保存
环境:Python 2.7.3,win10
一、抓取
目的地是ZOL笑话大全
地址:http://xiaohua.zol.com.cn/new/2.html
网址的组成要灵活点,这个网站的地址后面是可变的,比如3.html、4.html
所以这样搞:url=”http://xiaohua.zol.com.cn/new/%d.html”%(page)
page是动态赋值的
导包:import urllib
Python的urllib和urllib2模块都是做请求URL相关操作的。
它们最显著的差异为:
urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。
urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib2的不具有这样的功能.
python 2.7.x提供了urllib与urllib2,鉴于上述异同两个库通常搭配使用。
抓取:urllib.urlopen(url).read()
因为这个网站不需要什么东西就可以爬取,所以就这么简单一句话,复杂点的请参考这个:http://blog.csdn.net/u013632854/article/details/52970775
urllib.urlopen(url)是打开一个url的方法,返回一个文件对象,然后可以进行类似文件对象的操作,通过read()方法读取内容
二、过滤
过滤就离不开正则表达式,这是一个谁也绕不开的恶梦
参考这个:http://www.ziqiangxuetang.com/python/python-reg-expressions.html)
这里分为两部分
先import re
re是负责正则表达式的
1、过滤
list=re.findall(r'<div class="summary-text">(.*?)</div>',html,re.I|re.M|re.S)
这个方法是查找字符串内所有匹配的内容,并以列表的形式返回
findall(正则表达式,要处理的字符串,可选内容)
描述
如下:
re.I
使匹配对大小写不敏感
re.L
做本地化识别(locale-aware)匹配
re.M
多行匹配,影响 ^ 和 $
re.S
使 . 匹配包括换行在内的所有字符
re.U
根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X
该标志通过给予你更灵活的格式以便你将正则表达式写得更.decode
正则处理的方法二: