网易页面的网络爬虫，获取网易页面的所有文本信息

最新推荐文章于 2024-08-03 15:58:00 发布

WEL测试

最新推荐文章于 2024-08-03 15:58:00 发布

阅读量1.6k

点赞数

分类专栏： # python脚本小册文章标签：网络爬虫网易 re python 加码解码

本文为WEL测试原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/henni_719/article/details/51839504

版权

该博客介绍了一个Python 2.7编写的网易页面爬虫程序，由ewang编写。程序能抓取网易页面的标题和特定标签内的文本信息，并将这些信息保存为TXT文件。爬虫首先通过urllib2获取页面原始内容，使用正则表达式解析<title>标签获取网页标题，然后将<em>, <span>, 和<a>标签内的文本信息提取并保存。最后，所有信息被编码为GBK并写入以网页标题命名的TXT文件。" 113784286,10079502,Windows内置工具的远程操作与渗透技巧,"['Windows', '系统管理', '安全', '网络攻防']

摘要由CSDN通过智能技术生成

#coding=utf-8
#---------------------------------------
#   程序：网易爬虫
#   作者：ewang
#   日期：2016-7-6
#   语言：Python 2.7
#   功能：获取网易页面中的文本信息并保存到TXT文件中。
#---------------------------------------

import string
import urllib2
import re
import os

class WangYi_Spider:
	#申明相关属性
	def  __init__(self):
	    #给wangyiUrl属性赋值
		self.wangyiUrl="http://www.163.com/"
		#用来保存页面中文字信息
		self.pageinfor=[]
		print u'已经启动网易爬虫，爬爬...'
	
	#初始化加载页面并将其转码存储
	def	wangyi(self):
		#读取页面的原始信息并将其从gbk转码
		Page=urllib2.urlopen(self.wangyiUrl).read().decode('gbk')
		
		#获取页面标题
		title=self.find_title(Page)
		print u'网页名称:'+title
		
		#获取页面中文本信息
		self.save_infor(title)
		
	#查找页面标题
	def find_title(self,page):
		#匹配<title>xxxx</title>
		myTitle=re.search(r'<title>(.*?)</title>',page,re.S)
		
		#初始化标题名为暂无标题
		title=u'暂无标题'
		
		#如果标题存在把标题赋值给title
		if