python抓取网页内容并保存_Python：网页的抓取、过滤和保存

Python：网页的抓取、过滤和保存

环境：Python 2.7.3，win10

一、抓取

目的地是ZOL笑话大全

地址：http://xiaohua.zol.com.cn/new/2.html

网址的组成要灵活点，这个网站的地址后面是可变的，比如3.html、4.html

所以这样搞：url=”http://xiaohua.zol.com.cn/new/%d.html”%(page)

page是动态赋值的

导包：import urllib

Python的urllib和urllib2模块都是做请求URL相关操作的。

它们最显著的差异为:

urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。

urllib模块可以提供进行urlencode的方法，该方法用于GET查询字符串的生成，urllib2的不具有这样的功能.

python 2.7.x提供了urllib与urllib2，鉴于上述异同两个库通常搭配使用。

抓取：urllib.urlopen(url).read()

因为这个网站不需要什么东西就可以爬取，所以就这么简单一句话，复杂点的请参考这个：http://blog.csdn.net/u013632854/article/details/52970775

urllib.urlopen(url)是打开一个url的方法，返回一个文件对象，然后可以进行类似文件对象的操作，通过read()方法读取内容

这里分为两部分

先import re

re是负责正则表达式的

1、过滤list=re.findall(r'

(.*?)

',html,re.I|re.M|re.S)

这个方法是查找字符串内所有匹配的内容，并以列表的形式返回

findall(正则表达式，要处理的字符串，可选内容)

描述

如下：

re.I

使匹配对大小写不敏感

re.L

做本地化识别（locale-aware）匹配

re.M

多行匹配，影响 ^ 和 $

re.S

使 . 匹配包括换行在内的所有字符

re.U

根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.

re.X

该标志通过给予你更灵活的格式以便你将正则表达式写得更.decode

正则处理的方法二：#过滤

#reg=r'

(.*?)

'

#方法1，需要转换编码

#re是python自带的处理正则表达式的包

#获取pattern对象来处理字符串

#pattern=re.compile(reg)

#这个是查找此字符串中所有符合条件的内容并返回一个列表

#list=pattern.findall(html)

#for item in list:

#网页是gbk的，查找到之后的内容也是gbk的，要解码

# print item.decode('gbk')

#返回的内容为空，应该是匹配不成功，可以看下页面返回的是否与你匹配的一致

#return pattern.findall(html)

#转码的方式

#print unicode(item,'gbk')

#print pattern.findall(html.decode('gbk').encode('utf-8'))

2、替换list[index]=re.sub(r'

(.*?)

',"",list[index])

因为技术关系，没能一次性过滤或者替换掉所有目标内容，唯有对数据进行多次处理，汗

此方法是替换掉匹配的内容，sub(正则表达式，要替换成什么内容，待处理的字符串)

要替换成什么内容这个我填的是空字符串list=re.findall(r'

(.*?)

',html,re.I|re.M|re.S)

#过滤

for index in range(len(list)):

list[index]=re.sub(r'

(.*?)

',"",list[index])

list[index]=re.sub(r'

',"",list[index])

list[index]=re.sub(r'

',"",list[index])

list[index]=re.sub(r'\s*',"",list[index])+'\r'

print list[index]

return list

三、保存

也就两句话，打开一个文件，写进去txtFile=open('PaChongFile.txt','w')

txtFile.writelines(list)

总体代码如下：_author_='iamzhuwh'

#coding=utf-8

import urllib

import re

class PaChong:

#初始化

def __init__(self,tagetUrl):

global txtFile

self.tagetUrl=tagetUrl

txtFile=open('PaChongFile.txt','w')

#输入网址，返回内容列表

def getHtmlContent(self,html):

#爬取页面的指定内容

list=re.findall(r'

(.*?)

',html,re.I|re.M|re.S)

#过滤

for index in range(len(list)):

list[index]=re.sub(r'

(.*?)

',"",list[index])

list[index]=re.sub(r'

',"",list[index])

list[index]=re.sub(r'

',"",list[index])

list[index]=re.sub(r'\s*',"",list[index])+'\r'

print list[index]

return list

#获取

def getHtml(self,url):

return urllib.urlopen(url).read()

#获取url

def getHtmlUrl(self,html):

reg='

.*?'

reg_sub=r'

'

reg_sub2=r'

.*?

'

list=re.findall(reg,html,re.I|re.M|re.S)

print ""

def saveToFile(self,list):

try:

txtFile.writelines(list)

except IOError as err:

print('Error:'+str(err))

#finally:

# txtFile.close()

#url递归

def urlRecursion(self,url):

print '待续'

def start(self,pageCount):

page=0

for index in range(pageCount):

if index==0:continue

page=index

url="http://xiaohua.zol.com.cn/new/%d.html"%(page)

self.saveToFile(self.getHtmlContent(self.getHtml(url)))

spider=PaChong(None)

spider.start(50)