python代码情话_Python爬虫爬取内涵吧段子案例系列之八

不多说，直接上代码

# 爬取内涵吧段子的案例

import re

import requests

class Duanzi(object):

def __init__(self):

self.baseURL = 'http://www.neihan8.com/article/index'

self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}

# 表示页码，默认为第一页

self.page = 1

# 用来匹配每一页的每条段子， re.S 表示启用DOTALL模式( .也可以匹配换行符)

# .* 贪心算法（尽可能多匹配 .）

# .*? 非贪心算法（尽可能少匹配 .）

self.pattern_page = re.compile(r'

(.*?)

', re.S)

# self.pattern_page = re.compile(r'

(.*?)

', re.S)

# &(.*?); 表示匹配 HTML实体字符 如： 

# <(.*?)> 表示匹配所有的标签 如：

<\br>

# \s 匹配空白字符、换行符，但是不包括全角空格

# "　" 表示匹配全角空格

self.pattern_content = re.compile(r'&(.*?);|<(.*?)>|\s|　>')

def loadpage(self):

'''抓取每一页所有的段子'''

print("正在抓取第%s页段子" % self.page)

if self.page==1:

# 处理每一页的url地址

url = self.baseURL +'.html'

else:

# 处理每一页的url地址

url = self.baseURL + '_'+str(self.page) + '.html'

# 网页默认编码为gbk,发送请求，返回相应数据

html_gbk = requests.get(url, headers=self.headers).content

# 将gbk编码的网页转化为utf8

# html = html_gbk.decode('gbk').encode('utf-8')

html = html_gbk.decode('utf8')

# 匹配文本，获取所有段子的列表

content_list = self.pattern_page.findall(html)

self.write_page(content_list)

def write_page(self, content_list):

'''把每一页的段子内容写入到磁盘文件中'''

print("正在写入第%s页的段子内容" % self.page)

# 切记这里的a是追加模式

with open('duanzi.txt', 'a') as f:

for content in content_list:

# 匹配内容，去除无用的字符

content2 = self.pattern_content.sub("", content)

f.write(content2)

f.write('\n\n')

def duanzi_spider(self):

while True:

command = input("亲！请按回车键继续爬虫（按q键退出...):")

if command == 'q':

break

self.loadpage()

self.page += 1

if __name__ == '__main__':

duanzi = Duanzi()

duanzi.duanzi_spider()