关闭

简单爬取糗事百科

249人阅读 评论(0) 收藏 举报
分类:

刚刚入门,对于爬虫还要折腾很久才行,虽然很多功能还没开始掌握,但是爬取下来就很开心,接下来还会争取进步的。把自己出现的一些错误都加上了注释,我目前还在学习当中,大家一起进步。

期间学了一个新的函数,在这里分享下:

strip()

网上是这么说的

需要注意的是,传入的是一个字符数组,编译器去除两端所有相应的字符,直到没有匹配的字符,比如:

theString = 'saaaay yes no yaaaass'
print theString.strip('say') 

运行结果: 
yes no 

这里的两端,只是指向theString整个字符串两端的字符,即saaaaay 和yaaaass,将这两个单词,前后包含“s”,"a","y"三者之一的字符按顺序一一去掉,对于中间的“yes”是无效的。

如果没有指定的话,就会替换掉前后的空格。 当rm为空时,默认删除空白符(包括'\n', '\r',  '\t',  ' ')

所以如果需要替换掉一些<br/>之类的字符串,可以选择先将其用re.sub替换成空白符,然后在用strip()删除。

import urllib2
import re


url = 'http://www.qiushibaike.com/hot/page/'


def get_url(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} #记得引号
    req=urllib2.Request(url,headers =headers)
    response = urllib2.urlopen(req)
    html = response.read().decode('utf-8')
    return html
    
    
def get_info(url):
    html = get_url(url)
    re_info = r'h2\>(.+?)\</h2\>.+?\<div class="content"\>(.+?)\</div\>.+?\<i class="number"\>(.+?)\</i'
    info_compile = re.compile(re_info,re.S)#多行使用re.S
    info = re.findall(info_compile,html)
    #return info 放进列表里面的是元组
    for story in info:
        re_text = re.compile('<br/>')
        text = re.sub(re_text,'',story[1])
        print u"发布人:%s\t 赞:%s\n%s" %(story[0],story[2],text)#\t为横向制表符
#前面加u啊啊啊啊
get_info(url)

接下来写循环的部分,其实只是在最后去掉get_info(url)再加上一点点的东西

def get_all(pages):
    for i in range(1,pages):
        url = start_url + str(i)
        get_info(url)
        
get_all(3)

接下来实现打印加上页码,回车打印每一个段子,更是只是加上一点点的东西,添加raw_input进行判断

def get_info(url,page):
    html = get_url(url)
    re_info = r'h2\>(.+?)\</h2\>.+?\<div class="content"\>(.+?)\</div\>.+?\<i class="number"\>(.+?)\</i'
    info_compile = re.compile(re_info,re.S)
    info = re.findall(info_compile,html)
    print u'正在读取,回车查看,Q退出'
    for story in info:
        input = raw_input()
        if input == 'Q':
            return
        re_text = re.compile('<br/>')
        text = re.sub(re_text,'',story[1])
        print u"第%d页\t发布人:%s\t 赞:%s\n%s" %(page,story[0],story[2],text)

如果没有更改url,会报出如下错误:

Traceback (most recent call last):

  File "<ipython-input-17-70dae055a5ee>", line 38, in <module>
    get_all(3)

  File "<ipython-input-17-70dae055a5ee>", line 34, in get_all
    url = url + str(i)

UnboundLocalError: local variable 'url' referenced before assignment

为了区分,我们将url换名为start_url,完整如下

import urllib2
import re


start_url = 'http://www.qiushibaike.com/hot/page/'


def get_url(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} #记得引号
    req=urllib2.Request(url,headers =headers)
    response = urllib2.urlopen(req)
    html = response.read().decode('utf-8')
    return html
    
    
def get_info(url,page):
    html = get_url(url)
    re_info = r'h2\>(.+?)\</h2\>.+?\<div class="content"\>(.+?)\</div\>.+?\<i class="number"\>(.+?)\</i'
    info_compile = re.compile(re_info,re.S)
    info = re.findall(info_compile,html)
    print u'正在读取,回车查看,Q退出'
    for story in info:
        input = raw_input()
        if input == 'Q':
            return
        re_text = re.compile('<br/>')
        text = re.sub(re_text,'',story[1])
        print u"第%d页\t发布人:%s\t 赞:%s\n%s" %(page,story[0],story[2],text)
        
def get_all(pages):
    for i in range(1,pages):
        url = start_url + str(i)
        get_info(url,i)

get_all(3)

啊啊啊啊写了下来发现循环部分出现错误,就是每一页都得输出Q才行,得在每一页循环之前加上判断,那么继续更改以下函数,return用来跳出整个代码过程

def get_info(url,page):
    html = get_url(url)
    re_info = r'h2\>(.+?)\</h2\>.+?\<div class="content"\>(.+?)\</div\>.+?\<i class="number"\>(.+?)\</i'
    info_compile = re.compile(re_info,re.S)
    info = re.findall(info_compile,html)
    for story in info:
        input = raw_input()
        if input == 'Q':
            enable = False
            return
        re_text = re.compile('<br/>')
        text = re.sub(re_text,'',story[1])
        print u"第%d页\t发布人:%s\t 赞:%s\n%s" %(page,story[0],story[2],text)
        
def get_all(pages):
    print u'正在读取,回车查看,Q退出'
    enable =True
    for i in range(1,pages):
        if enable == True:
            url = start_url + str(i)
            get_info(url,i)
        return


0
0

猜你在找
【直播】机器学习&数据挖掘7周实训--韦玮
【套餐】系统集成项目管理工程师顺利通关--徐朋
【直播】3小时掌握Docker最佳实战-徐西宁
【套餐】机器学习系列套餐(算法+实战)--唐宇迪
【直播】计算机视觉原理及实战--屈教授
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之矩阵--黄博士
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之凸优化--马博士
【套餐】Javascript 设计模式实战--曾亮
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:17000次
    • 积分:424
    • 等级:
    • 排名:千里之外
    • 原创:23篇
    • 转载:10篇
    • 译文:0篇
    • 评论:4条
    文章分类
    最新评论