Python爬虫教程—python爬取糗事百科详解

可以访问我的网站：http://www.cjluzzl.cn

爬虫功能：

1.爬取糗事百科段子并保存到本地文件

爬取到的文本展示

2.爬取糗事百科上的图片并保存到本地

 

 

先来原代码一睹为快

# -*- coding: utf-8 -*-
'''
Created on 2017年3月4日

@author: cjluzzl
'''

import re
import urllib2
import urllib
import os

def download(url):
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    header = {'User-Agent':user_agent}
    request = urllib2.Request(url,headers=header)
    print '正在下载',url
    try:
        html = urllib2.urlopen(request).read()
    except urllib2.URLError as e:
        print '打开网址 ',url,e.reason    
    
    return html
    
file = open(u"糗事百科.txt",'w+')
html = download('https://www.qiushibaike.com')
if html != None:
    con = re.findall("<span>(.*?)</span>",html)
    total_count = len(con)
    
    
    print '一共有',total_count,'条'
    file.write('一共有'+str(total_count)+'条\n')
    for i in range(1,total_count):
        print '\n这是第',i,'条'
        file.write('\n这是第'+str(i)+'条\n')
        if '<br/><br/>' in con[i]:
            con[i]=con[i].replace('<br/><br/>','\n')
        if '<br/>' in con[i]:
            con[i]=con[i].replace('<br/>','\n')
        print con[i]
        if "<img " in con[i]:
            print u'现在开始爬取图片'
            #imageUrl = con[i][con[i].find('src=')+5:con[i].find('.jpg')+4]
            imageUrl = re.findall('src="(.+?\.jpg)',con[i])
            title = re.findall('alt="(.*?)"',con[i])
            title = str(title[0])
            print title
            filename="D:/Download/" + title +".jpg"
            #print filename
                
            try:
                urllib.urlretrieve(imageUrl[0],unicode(filename,'utf8'))
            except IOError as a:
                print 'error'
        else:
            file.write(con[i]+'\n')
    
   
            
else:
    print '未获取到指定内容，请检查网址无误后重试'
file.close()

先看download函数,用于下载html源码

def download(url):
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    header = {'User-Agent':user_agent}
    request = urllib2.Request(url,headers=header)
    print '正在下载',url
    try:
        html = urllib2.urlopen(request).read()
    except urllib2.URLError as e:
        print '打开网址 ',url,e.reason    
    
    return html

读取段子和图片并写入文件

注意：

 

1.用Firebug查看html，逐渐站看标签，查看内容，注意分析源码编写正则表达式

2.re.findall()方法返回的是列表

3.unicode(filename,'utf8')防止Windows下文件名乱码

 

file = open(u"糗事百科.txt",'w+')#创建本地文件
html = download('https://www.qiushibaike.com') #执行download函数下载HTML
if html != None:
    con = re.findall("<span>(.*?)</span>",html)#获取段子内容
    total_count = len(con)#计算段子总数
    
    
    print '一共有',total_count,'条'
    file.write('一共有'+str(total_count)+'条\n')
    for i in range(1,total_count):
        print '\n这是第',i,'条'
        file.write('\n这是第'+str(i)+'条\n')
        if '<br/><br/>' in con[i]:#<br/>标签转换行
            con[i]=con[i].replace('<br/><br/>','\n')
        if '<br/>' in con[i]:#<br/>标签转换行
            con[i]=con[i].replace('<br/>','\n')
        print con[i]
        if "<img " in con[i]:#判断是否为图片段子
            print u'现在开始爬取图片'
            #imageUrl = con[i][con[i].find('src=')+5:con[i].find('.jpg')+4]
            imageUrl = re.findall('src="(.+?\.jpg)',con[i])
            title = re.findall('alt="(.*?)"',con[i])
            title = str(title[0])
            print title
            filename="D:/Download/" + title +".jpg"
            #print filename
            try:
                urllib.urlretrieve(imageUrl[0],fielname=unicode(filename,'utf8'))
            except IOError as a:
                print 'error'
        else:#文字段子写入文件
            file.write(con[i]+'\n')
    
   
            
else:
    print '未获取到指定内容，请检查网址无误后重试'
file.close()