Jemila

狭路相逢勇者胜

我的第一个爬虫日志

刚刚开始学习爬虫,很多东西不懂,还望前辈们多多指教。

我的第一篇爬虫是爬取图片,因为这个内容比较容易入手,所以先从这里开始,此处适用于仅有一页图片的百度贴吧网页或者说只能爬取第一页的图片。

总结流程:

1、导入相应的包

1)传送网址(多页在此不传送页码,新编函数循环传入新的页码)

2、构建函数

1)网址发送请求

2)服务器的响应

3)读取网址编码信息

3、编写正则表达式提取所需内容,括号内容具有唯一性

4、获取内容列表之后循环下载取出

import urllib
import urllib2
import re
#导入需要的包
url = 'http://tieba.baidu.com/p/4558355499'
def getpic(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    html = response.read().decode('utf-8')
    #注意正则需要括号表示分组,我们所需要的内容前后用括号隔开
    re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" size='
    jpg_url = re.findall(re_jpg,html)
    x = 0#从0开始命名
    for jpg in jpg_url:
        urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x))
        x +=1
        print jpg
        
getpic(url)

以下适用于多页图片的百度贴吧网页

import urllib
import urllib2
import re
import time

start_url = 'http://tieba.baidu.com/p/2037526228?pn='
def getpic(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    html = response.read().decode('utf-8')
    
    re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" width='
    jpg_url = re.findall(re_jpg,html)
    for jpg in jpg_url:
        #urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x))
        urllib.urlretrieve(jpg,"J:/pydownload/%s.jpg"% jpg.split('/')[-1])
        print jpg
def get_all(pages):
    for i in range(1,pages):
        url = start_url + str(i)
        getpic(url)
        time.sleep(2)
        
get_all(2)


阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载,如有问题请咨询QQ。 https://blog.csdn.net/Jemila/article/details/51545073
文章标签: 爬虫 正则 python
个人分类: python
上一篇触发器及存储过程 同时增删模糊匹配字段
下一篇简单爬取糗事百科
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭