获取糗事百科段子内容(根据网络代码改编)

原创 2016年08月29日 16:02:46

最近在学习获取网络数据,在网上看到一个获取获取糗事百科段子内容的实例(点击打开链接

因为糗事百科的版本变化了所以原代码不可以直接使用,在评论中有可直接使用的代码,下面的代码是我根据博主的源码改编而成的,思路和方法可以看博主原文

# encoding: utf-8
import urllib2
import re

class Qsbk():

    def __init__(self):
        self.url = 'http://www.qiushibaike.com/hot/page/'
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        # 初始化headers
        self.headers = {'User-Agent': self.user_agent}

    def html_data(self, pageIndex):
        try:
            url = self.url + str(pageIndex)
            # 构建请求的request
            request = urllib2.Request(url, headers=self.headers)
            # 利用urlopen获取页面代码
            response = urllib2.urlopen(request)
            # 将页面转化为UTF-8编码
            pageCode = response.read().decode('utf-8')
            # print pageCode
            return pageCode
        except urllib2.URLError, e:
            if hasattr(e, "reason"):
                print u"连接糗事百科失败,错误原因", e.reason
                return None

    def data_split(self, pageIndex):
        pageCode = self.html_data(pageIndex)
        if not pageCode:
            print "页面加载失败...."
            return None
        pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?</div>.*?'
                             '<div class="content">(.*?)</div>.*?'
                             '<i class="number">(.*?)</i>.*?<i class="number">(.*?)</i>', re.S)
        items = pattern.findall(pageCode)
        return list(items)

    def out_put(self):
        i = 1
        j = 0
        output = ''
        datats = self.data_split(i)
        while (j < len(datats)):

            print "正在读取糗事百科,按回车查看新段子,q退出"
            output = raw_input()
            if output == '':
                print '第' + str(i) + '页'
                print ''.join(datats[j])
                j += 1
                if(j == len(datats)):
                    i += 1
                    j = 0
                    datats = self.data_split(i)

            elif output == 'q':
                break
            else:
                print "正在读取糗事百科,按回车查看新段子,Q退出"
                output = raw_input()

if __name__ == '__main__':
    Qsbk().out_put()


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

python爬虫-糗事百科段子内容

转载 崔庆才 Python爬虫实战一之爬取糗事百科段子 http://cuiqingcai.com/990.html 实现一个简单的爬虫,爬去糗事百科段子的内容...

糗事百科段子爬取

糗事百科段子爬取 爬取多页的段子一、网站分析(1)打开网站糗事百科,可以发现很多段子: (2)经过翻页,可以发现网址的规律:for k in range(0,10): url = "http:...

【爬虫实战一】之糗事百科热门段子采集

糗事百科段子采集的实例已经有很多前辈写过了,但年代久远,普遍基于python2.7,并且没有用到BeautifulSoup,而是自己写正则表达式进行匹配,因此,每次网站改版后,代码重构的工作量比较大。...

Python - 静态页面抓取(抓取‘糗事百科’段子)

问题导读: 抓取糗事百科段子,作者、作者性别、段子内容、筛选无图段子 解决方案: #!/usr/bin/env python # coding=utf-8 import ...

爬取糗事百科的段子Demo

1.我们要做什么? 爬取糗事百科的段子,并打印输出在屏幕上。 2.怎么做? (1)获取网页的内容:目的网址为https://www.qiushibaike.com/text/,该网址为糗事百科文...

[Android] - Jsoup实现网络爬虫,获取糗事百科数据

目录目录 前言 Jsoup配置 Jsoup使用前言本文是在看了鸿洋大神微信公众号里的文章后,结合自己的实践写下的一些心得,所以会有很多相同的地方,请别介意仅当做笔记使用。Jsoup的简介什么的就不介绍...

python爬虫爬取糗事百科内容

  • 2017年11月17日 10:50
  • 869B
  • 下载

java抓取糗事百科内容

解决思路 通过URLConnection对象获取糗百网的响应html 解析html通过正则取出糗事内容 利用FileWrite对象输出到文件 具体步骤新建QiuShiBaiKe类,创建一个发送get请...

糗事百科的网络爬虫

最近看完《python基础教程》后,想学下数据分析和爬虫。找了一些简单的爬虫练练手。 参考了Python爬虫实战一之爬取糗事百科段子,因为糗事百科代码改版了,我修改了Re后基本实现,然后用bs4改为...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:获取糗事百科段子内容(根据网络代码改编)
举报原因:
原因补充:

(最多只允许输入30个字)