用SGMLParser爬取天涯的帖子

最新推荐文章于 2018-09-06 09:54:33 发布
最新推荐文章于 2018-09-06 09:54:33 发布
阅读量1.3k 收藏
点赞数
分类专栏： Python 文章标签： 爬虫 SGMLParser
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ruanjiayou/article/details/47707995
版权

                之前在天涯论坛看到一高三老师的一篇帖子，是高三一年的记录。当时就想扣下来，虽然只分九页，但每页有百来屏，采取纯手工的方法不可取。做个工具以后还可以用！但一直没动手。

               这两天突然看到《任务列表.txt》里有 这个任务记录，便开始复习python了。

高三老师日记 2014-2015  http://bbs.tianya.cn/post-no16-276224-1.shtml


               整个工作是昨天下午开始的 也就是2015-08-15.因为要上班 下午5:32开始写，大概7点下班。

               回来后从7:51开始到11:09结束，抓了374张图，文字1.22MB。写这个时当时一算，发现用了将近5小时，便思考值不值？


  首先是对帖子每一楼的分析，发现每一楼都是在div里有id class js_username js_resttime等属性。帖子的主要内容是在div class="bbs-content"里。因为只关注楼主的帖子，通过div的js_username属性就可以把其他用户的帖子过滤掉了。关键是对这一楼是楼主的帖子还是楼主的回复的区分。楼主发帖基本是日常记录，基本没有什么闲聊。如果是回复，div.bbs-content里会有a标签而且是第一个。

帖子里可能有img标签，还有就是<br/>转'\n'，不然文字没分段。resttime里有时间，因为是日记贴，也有必要抓下来。


下面就是爬虫部分了。实现上面的思路。

首先要对SGMLParseer这个模块有了解，继承这个类自己对标签进行处理。刚开始我还是对里面的函数有误解的。

       这个模块用于解析HTML，SGMLParser 将 HTML 分析成 8 类数据。

  • 开始标记 (Start tag) 
  • 结束标记 (End tag) 
  • 字符引用 (Character reference) 
  • 字符引用 (Character reference) 
  • 注释 (Comment) 
  • 处理指令 (Processing instruction) 
  • 声明 (Declaration) 
  • 文本数据 (Text data) 
后来发现，这个类 将HTML整个字符串分成一段一段 的。碰到哪一类就调用相应的函数(跟API一样,函数名和参数形式要一致)。如果你想对div进行处理：
def start_div(self,attrs):
#写自己的处理代码
pass
对文本块的处理
def handle_data(self,text):
#写自己的处理代码
pass     

#coding:utf-8  
import re,cookielib,urllib2,socket,random
from sgmllib import SGMLParser 
#模拟浏览器获取html
class Browser(object):
    def __init__(self):
        #20 --> 4 节约了很多时间 爬一千个url由15.5s-->6.5s
        socket.setdefaulttimeout(4)
    def speak(self,content):
        print '[%s]' %(content)
    def openurl(self,url):
        cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
        self.opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
        urllib2.install_opener(self.opener)
        user_agents = [
            'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
            'Opera/9.25 (Windows NT 5.1; U; en)',
            'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
            'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
            "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
            "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ",
            ] 
        agent = random.choice(user_agents)
        self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://www.baidu.com')];
        #self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://bbs.tianya.cn/post-no04-2185536-1.shtml')];
        res='';
        err=[];
        try:
            res = self.opener.open(url)
            #print res.read()
        except Exception,e:
            #self.speak(str(e)+url)
            #对于因为网络不稳定带来的错误 应当 再获取两次 减少误差
            print '获取网页失败，尝试重新获取';
        if len(err)!=0:
            try:
                res = self.opener.open(url);
                print '获取成功!';
            except Exception,e:
                print '尝试获取网页失败!';
            #raise Exception
        return res;
    def getHTML(self,url):
        ress='';
        restemp = self.openurl(url);
        try:
            if restemp!=None and restemp!='':
                ress = restemp.read();
            else:
                ress =  '';
        except Exception,e:
            print 'read error!';
        return ress;
#用于获取图片地址
def getFileName(filestr):
    m1=re.compile(r'(?P<path>[0-9_A-Za-z-]+(.jpg|.png|.gif)$)')
    extName=m1.search(filestr)
    if extName!=None:
        return extName.group('path')
    else:
        return '';
#getURLs从SGMLParser继承
class getURLs(SGMLParser):
    def reset(self):
        self.bItem=False;
        self.bContent=False;
        self.id=0;
        self.time='';
        self.content='';
        SGMLParser.reset(self);
        
    def start_div(self,attrs):
        temptime='';
        tempid='';
        for k,v in attrs :
            if k=='js_username' and v=='%E7%A6%85%E9%A6%99%E9%9B%AA':
                self.bItem=True;
            if k=='js_restime':
                temptime=v;
            if k=='id':
                tempid=v;
            if k=='class' and v=='bbs-content':
                self.bContent=True;
        if self.bItem:
            self.time=temptime;
            self.id=tempid;
            self.bItem=False;
    def start_br(self,attrs):
        self.content+='\n\t';
    def start_img(self,attrs):
        src=[v for k,v in attrs if k=='original'];
        if src:
            print src;
            filename=getFileName(src[0]);
            self.content+='\n\t';
            self.content=self.content+'<img src="images/'+filename+'" style="width:80%;"/>';
            self.content+='\n\t';
    def end_div(self):
        if self.bContent:
            self.bContent=False;
            fh.write('{"id":"'+str(self.id)+'",'+'"time":"'+self.time+'",'+'"content":"'+self.content.replace('"',"'").strip()+'"},\n');
            arrItem.append('0');
            print str(self.id)+'\n';
            self.id='id';
            self.time='time';
            self.content='';
    def handle_data(self,text):#处理文本
        if self.bContent==True:
            self.content+=text;
if __name__ == '__main__':
    #===================全局变量==============================
    #入口地址
    entrance='http://bbs.tianya.cn/post-no16-276224-1.shtml';
    #分页页面地址规则
    rule = 'http://bbs.tianya.cn/post-no16-276224-\d.shtml';
    arrPage=[entrance];
    arrItem=range(0);
    curr=1;
    id=0;
    time='';
    
    
    #分页地址匹配
    m = re.compile(r'(?P<path>'+rule+')');
    fh = open("f:\\test\\recorder.txt",'a+');
    #====================进入入口===========================
    spider = Browser();
    html = spider.getHTML(entrance);
    obj = getURLs();
    obj.feed(html);
    obj.close();
    #开始循环
    for i in range(2,10):
        html = spider.getHTML('http://bbs.tianya.cn/post-no16-276224-'+str(i)+'.shtml');
        obj = getURLs();
        obj.feed(html);
        obj.close;
        print '第'+str(curr)+'页';
        curr=curr+1;
    print '完毕！';
    fh.close();

就是这段程序完成了抓取整个帖子和图片。但没有对发帖和回复的区分。输出的还是json格式。最后会多个逗号。

当时没考虑传参。移植性差。

class getURLs(SGMLParser)这句是说getURLs是继承于SGMLParser

今天打算写个模块，可以传参，发现__init__和reset两个函数始终有矛盾。后来将reset里的都放到__init__构造函数里了。

既然是模块，当然希望按引用传参。然而int和string类型只能按值传参。参数写成数组的形式就可以按引用传参了。

另外发现了个关于定义空数组的问题。arr=[];是可以，但这种方法arr.append(xxx);始终没效果。第二种方法是arr=range(0);


期间发现了两个有趣的东西。href=[v for k,v in attrs if k=='href'];和 value in Array==True判断数组是否有变量。然而第二个我没用，换成了自己的函数arrHas(a,arr)


还有问题，就是HTML里面div嵌套非常多，像<div>aaa<p>bbb</p>ccc</div>要获取里面的文本就麻烦一些。一般方法是在构造函数里加个变量self.isDiv=False;

在def  start_div(self,attrs):self.isDiv=True;在def  end_div(self):  self.isdiv=False;

而帖子里每楼都有5、6div嵌套的。还要加个self.divDepth=-1。用于记录嵌套的深度。start_div就自增，end_div时就自减。


后来写了个获取网页链接的模块

#coding:utf-8  
'''
auto:阮家友
time:2015-08-16 14:22
'''
import re,cookielib,urllib2,socket,random,urllib,urlparse
from sgmllib import SGMLParser 
class Browser(object):
    def __init__(self):
        #20 --> 4 节约了很多时间 爬一千个url由15.5s-->6.5s
        socket.setdefaulttimeout(4)
    def speak(self,content):
        print '[%s]' %(content)
    def openurl(self,url):
        cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
        self.opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
        urllib2.install_opener(self.opener)
        user_agents = [
            'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
            'Opera/9.25 (Windows NT 5.1; U; en)',
            'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
            'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
            "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
            "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 ",
            ] 
        agent = random.choice(user_agents)
        self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://www.baidu.com')];
        #self.opener.addheaders = [("User-agent",agent),("Accept","*/*"),('Referer','http://bbs.tianya.cn/post-no04-2185536-1.shtml')];
        res='';
        err=[];
        try:
            res = self.opener.open(url);
        except Exception,e:
            #self.speak(str(e)+url)
            #对于因为网络不稳定带来的错误 应当 再获取1次 减少误差
            print '获取网页失败，尝试重新获取';
        if len(err)!=0:
            try:
                res = self.opener.open(url);
                print '获取成功!';
            except Exception,e:
                print '尝试获取网页失败!';
                print url;
            #raise Exception
        return res;
    def getHTML(self,url):
        ress='';
        restemp = self.openurl(url);
        try:
            if restemp!=None and restemp!='':
                ress = restemp.read();
            else:
                ress =  '';
        except Exception,e:
            print 'read error!';
        return ress;
def arrHas(strArr,string):
    for i in range(0,len(strArr)):
        if(strArr[i]==string):
            return True;
    return False;
class getURLs(SGMLParser): 
    def __init__(self,args):
        self.len=0;
        self.url = args[0][0];
        self.arrPage=args[0];
        self.arrDest=args[1];
        self.pageRule = args[2];
        self.DestRule = args[3];
        SGMLParser.reset(self);
        spider = Browser();
        html=spider.getHTML(self.url);
        self.url=urlparse.urlparse(self.url);
        pathinfo = self.url.path.split('/');
        if len(pathinfo)>0 and pathinfo[len(pathinfo)-1].find('.')!=-1:
            pathinfo.pop();
            self.url.path = pathinfo.join('/');
        self.feed(html);
        
        
    def start_a(self,attrs):
        #print attrs;
        href=[v for k,v in attrs if k=='href'];
        if href:
            tempurl = urlparse.urlparse(href[0]);
            if(tempurl.netloc==''):
                temppathinfo=tempurl.path.split('/');
                pathstr = '/'.join(temppathinfo);
                pathstr = pathstr.lstrip('/');
                href[0]='http://'+self.url.netloc+self.url.path+pathstr;
            #=========分页地址===================
            r = self.pageRule.search(href[0]);
            if r!=None and arrHas(self.arrPage,href[0])==False:
                self.arrPage.append(href[0]);
            #=========终页地址===================
            r = self.DestRule.search(href[0]);
            if r!=None and arrHas(self.arrPage,href[0])==False :
                self.arrDest.append(href[0]);
                print href[0];
                return ;
    
    def __del__(self):
        print '析构函数将执行';
        self.close();
if __name__ == '__main__':
    #进行参数构造
    entrance = 'http://h.7k7k.com/pc/';
    m1 = re.compile(r'(?P<path>http://h.7k7k.com/pc/\d+)');
    m2 = re.compile(r'(?P<path>http://flash1.7k7k.com/h5/)'); 
    arrPage=[entrance];
    arrDest=range(0);
    arguments = [arrPage,arrDest,m1,m2];
    
    print arguments;
    o1 = getURLs(arguments);
    del o1;
    print 'list page url:'
    for i in range(0,len(arrPage)):
        print arrPage[i];
    print 'destiny page url:'
    for j in range(0,len(arrDest)):
        print arrDest[j];
    #del o1;
    print 'url 全部获取!';


这个获取了所有的游戏分页地址和游戏页面地址。

还写了个模块，专门获取页面文章(或小说)，跟上面差不多，测试了一下将笔趣阁的星战风暴1130章全都down了下来。


实习的另外两个同学想玩玩，做小说站、游戏站和APP壁纸站。扣小说、游戏、图片。你懂的

我只是默默学习编程。



阮家友
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
天涯论坛——python网络爬虫下载论坛关键字帖文（一）
weixin_43906500的博客
01-13 787
前言 本文介绍了一个天涯网站关键词搜索的爬虫实现 相关爬取内容如下所示 # 账号列表 # 对应关系二维列表 from pyquery import PyQuery as pq import requests from urllib.parse import quote from time import sleep import json page = 75 key_word = '新冠疫情' def prase_all_page(urls): """ 解析所有..
python爬取论坛付费内容_python 网络爬虫（一）爬取天涯论坛评论
weixin_39842617的博客
11-24 1210
我是一个大二的学生，也是刚接触python，接触了爬虫感觉爬虫很有趣就爬了爬天涯论坛，中途碰到了很多问题，就想把这些问题分享出来，都是些简单的问题，希望大佬们以宽容的眼光来看一个小菜鸟????，这也是我第一次写博客，代码有哪里写的不好的地方，需要改进的地方希望大家也可以帮我指出。用到的包有requests - BeautSoup我爬的是天涯论坛的财经论坛：‘http://bbs.tianya.cn/li...
Python爬虫实战(二):爬取天涯帖子(只看楼主)
热门推荐
Python3 爬虫实战 1:应对特殊字体,爬取猫眼电影实时排行榜
09-04 3万+
先上代码 #coding=utf-8 import requests from bs4 import BeautifulSoup def getHtml(url): page = requests.get(url) html =page.text return html def getText(html): global i listautho
scrapy爬取天涯帖子内容
youzhigang1的博客
11-10 3374
主要代码import scrapy from scrapy import Selector from first.items import TYItem import reclass TianyaSpider(scrapy.Spider): name = 'tianya' allowed_domains=['tianya.cn'] # 对请求的返回进行处理的配置 me
SGMLParser-sp-1.3.4(linux)
08-05
使用SGMLParser-sp-1.3.4时，你可能会遇到的一些关键概念包括： - **DTD（Document Type Definition）**：定义SGML文档结构的规则集。 - **实体（Entities）**：SGML中的实体可以是字符、数字或整个文档，允许在多...
SGMLParser-sp1_3_4（win32）
08-05
2. **pubtext**：此文件可能包含示例SGML文档或者是一些公开的文本资源，用户可以使用这些样本来测试SGMLParser的功能，理解其解析效果，也可以作为开发过程中的参考。 3. **bin**：这是可执行文件所在的目录，通常...
用python编写网络爬虫.docx
06-22
作者使用了 SGMLParser 库来解析下载的网页，提取其中的链接。 4.toolbox_insight.py 文件的作用 toolbox_insight.py 文件是一个工具文件，提供了一些基础的工具函数，例如 Basegeturls 类、Newlist 类等。这些...
用Python实现网络爬虫、蜘蛛.doc
01-13
以下是一个简单的示例，使用`SGMLParser`类来提取网页正文： ```python from sgmllib import SGMLParser class Html2txt(SGMLParser): def reset(self): self.text = '' self.inbody = True SGMLParser....
sasgml:SGML的类似于SAX的API（Java的SGML解析器）-开源
05-13
4. sgml-win64-0.0.2-SNAPSHOT.jar和sgml-win32-0.0.2-SNAPSHOT.jar：这两个是Java Archive（JAR）文件，包含sasgml的Java类和资源，适用于不同平台的Java应用程序使用。 结合以上信息，我们可以得出sasgml是一个...
python 抓取天涯帖子内容并保存
glumpydog的专栏
05-14 8270
手把手教你利用Python下载天涯热门帖子为txt文档 作者：大捷龙 csdn : http://blog.csdn.net/koanzhongxue**分析：天涯的帖子下载可以分为以下几个步骤 手动传入一个帖子首页的地址 打开文本 提取帖子标题 获取帖子的最大页数 遍历每一页，获得每条回复的是否是楼主、作者昵称、回复时间。 写入看文本 关闭文本 预备：Python的文件操作： 一、
使用python抓取天涯帖子，并实现“只看楼主”功能
hanhf的专栏
09-06 3581
使用python抓取天涯帖子，并实现“只看楼主”功能 　　在看天涯论坛时，有些帖子很有价值，想把它保存下来，可是好的帖子动辄几百页，其中又掺杂了很多灌水和撕逼，所以我编写了一个python小程序，将一个帖子中楼主所发的内容抓取下来，挺好用的。 　　唯一的缺陷是图片还没法抓取，以后有空再改进。 　　下面是程序代码，注释都在里面了： #!/usr/bin/python # -*- codin...
爬虫学习笔记：练习爬取多页天涯帖子
weixin_34268169的博客
02-20 206
今天练习了抓取多页天涯帖子，重点复习的知识包括 soup.find_all和soup.selcet两个筛选方式对应不同的参数； 希望将获取到的多个内容组合在一起返回的时候，要用'zip()'的代码来实现； 两层代码结构之间的关系如何构造； 这里有一个疑问：有时候一个标签可以有多个属性，不知道soup.find_all()能不能接受不止...
《python爬虫实战》：爬取贴吧上的帖子
wojiushimogui的博客
12-06 1万+
《python爬虫实战》：爬取贴吧上的帖子经过前面两篇例子的练习，自己也对爬虫有了一定的经验。 由于目前还没有利用BeautifulSoup库，因此关于爬虫的难点还是正则表达式的书写。但是，当写几个正则表达式之后，发现还是有一定的规则可循的，只要我们的目的明确，想得到网页的什么，我们就直接在该网页上，找到我们想要的内容在html代码中出现的格式是怎么样的。例如，我们想获取贴吧上帖子的标题。 解决
爬虫之天涯论坛
zeng_w_j123的博客
08-03 5060
爬虫之天涯论坛需求获取天涯论坛上某个关键字搜索出来的所有页面里面的每个帖子的楼主ID和回帖者的ID解决方法Python+正则表达式re.findall(pattern, string[, flags]) 搜索string，以列表形式返回全部能匹配的子串。str.find(str, beg=0, end=len(string)) 如果包含子字符串返回开始的索引值，否则返回-1import requ
天涯论坛网络爬虫学习笔记
stcasshern的专栏
03-31 4523
webmagic爬虫，天涯论坛爬虫
from sgmllib import SGMLParser, SGMLParseError ModuleNotFoundError: No module named 'sgmllib'
最新发布
05-16
The `sgmllib` module has been deprecated since Python 2.6 and removed in Python 3.x.... ... ```python ... class MyHTMLParser(HTMLParser): def handle_starttag(self, tag, attrs): print("Start tag:", tag) ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值