获取糗事百科段子内容(根据网络代码改编)

原创 2016年08月29日 16:02:46

最近在学习获取网络数据,在网上看到一个获取获取糗事百科段子内容的实例(点击打开链接

因为糗事百科的版本变化了所以原代码不可以直接使用,在评论中有可直接使用的代码,下面的代码是我根据博主的源码改编而成的,思路和方法可以看博主原文

# encoding: utf-8
import urllib2
import re

class Qsbk():

    def __init__(self):
        self.url = 'http://www.qiushibaike.com/hot/page/'
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        # 初始化headers
        self.headers = {'User-Agent': self.user_agent}

    def html_data(self, pageIndex):
        try:
            url = self.url + str(pageIndex)
            # 构建请求的request
            request = urllib2.Request(url, headers=self.headers)
            # 利用urlopen获取页面代码
            response = urllib2.urlopen(request)
            # 将页面转化为UTF-8编码
            pageCode = response.read().decode('utf-8')
            # print pageCode
            return pageCode
        except urllib2.URLError, e:
            if hasattr(e, "reason"):
                print u"连接糗事百科失败,错误原因", e.reason
                return None

    def data_split(self, pageIndex):
        pageCode = self.html_data(pageIndex)
        if not pageCode:
            print "页面加载失败...."
            return None
        pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?</div>.*?'
                             '<div class="content">(.*?)</div>.*?'
                             '<i class="number">(.*?)</i>.*?<i class="number">(.*?)</i>', re.S)
        items = pattern.findall(pageCode)
        return list(items)

    def out_put(self):
        i = 1
        j = 0
        output = ''
        datats = self.data_split(i)
        while (j < len(datats)):

            print "正在读取糗事百科,按回车查看新段子,q退出"
            output = raw_input()
            if output == '':
                print '第' + str(i) + '页'
                print ''.join(datats[j])
                j += 1
                if(j == len(datats)):
                    i += 1
                    j = 0
                    datats = self.data_split(i)

            elif output == 'q':
                break
            else:
                print "正在读取糗事百科,按回车查看新段子,Q退出"
                output = raw_input()

if __name__ == '__main__':
    Qsbk().out_put()


版权声明:本文为博主原创文章,未经博主允许不得转载。

python 爬虫 爬取糗事百科段子

在网络上看到有介绍python爬虫爬去糗事百科段子的文章,觉得还挺好玩的,所以照着文章的思路自己重新实现了代码,完成了一个小小的爬虫爬取数据的例子。1.抓取页面的源码首先我们确定好页面的URL是 ht...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年07月04日 22:03
  • 3631

Python爬虫实战一之爬取糗事百科段子

1.抓取糗事百科热门段子 2.过滤带有图片的段子 3.实现每按一次回车显示一个段子发布人,段子内容 ———————————————————————————————————————————————...
  • jingza
  • jingza
  • 2016年10月09日 10:35
  • 756

python爬虫----爬取糗事百科

一个练手的小爬虫 熟悉了下requests,BeautifulSoup,正则表达式的操作 本来不想放上来,因为感觉写的不好,放上来方便自己以后修改下 import requests fro...
  • qq_32511479
  • qq_32511479
  • 2017年07月13日 14:00
  • 199

Python爬虫实战一之爬取糗事百科段子

点我进入原文 需要注意的是, 距离作者的原文发布的时间有一段距离了, 糗百的html 代码发生部分变化, 因而 正则表达式模块需要自己重新根据实际情况进行编写~~ Python爬虫实战一之...
  • zhyh1435589631
  • zhyh1435589631
  • 2016年05月02日 16:02
  • 1628

Python爬虫教程——实战一之爬取糗事百科段子

大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧。那么这次为大家带来,Python爬取糗事百科的小段子的例子。首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,...
  • yockie
  • yockie
  • 2015年09月05日 02:13
  • 1018

PHP爬取糗事百科首页糗事

突然想获取一些网上的数据来玩玩,因为有SAE的MySql数据库,让它在那呆着没有什么卵用!于是就开始用PHP编写一个爬取糗事百科首页糗事的小程序,数据都保存在MySql中,岂不是很好玩! 说干就干!...
  • qqHJQS
  • qqHJQS
  • 2015年05月18日 19:45
  • 1136

爬虫-糗事百科段子

练习爬取糗事百科段子,直接上代码洛,有注释哦。。。__author__="a958832776" # -*- coding:utf-8 -*- import urllib import urllib2...
  • a958832776
  • a958832776
  • 2017年05月08日 18:37
  • 497

糗事百科案例(使用 xpath模块)

通过一个案列先了解下json与python之间的转换关系 #json解析库,对应到lxml import json #json的解析语法,对应到xpath import jsonpath impor...
  • wanghandou
  • wanghandou
  • 2017年10月25日 15:21
  • 97

python爬虫-糗事百科段子内容

转载 崔庆才 Python爬虫实战一之爬取糗事百科段子 http://cuiqingcai.com/990.html 实现一个简单的爬虫,爬去糗事百科段子的内容...
  • yxmaomao1991
  • yxmaomao1991
  • 2017年05月21日 09:57
  • 447

[Scrapy]爬取糗事百科段子

1.Python爬虫实战一之爬取糗事百科段子 (http://cuiqingcai.com/990.html) 2.在工作目录创建myprojectscrapy startproject mypr...
  • u014686875
  • u014686875
  • 2016年12月12日 21:48
  • 565
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:获取糗事百科段子内容(根据网络代码改编)
举报原因:
原因补充:

(最多只允许输入30个字)