python制作简单的爬虫

最新推荐文章于 2024-04-24 22:52:03 发布

Coder_Nan

最新推荐文章于 2024-04-24 22:52:03 发布

阅读量893

点赞数

分类专栏： python_spider 文章标签： python 爬虫 url html 函数

本文链接：https://blog.csdn.net/ln_ios/article/details/51524485

版权

python_spider 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

该爬虫只是简单的爬取了一个小网站上的图片：


# encoding:utf-8
import urllib
import re
import os
#该函数传入URL获得该url所对应的html源代码
def gethtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html
#该函数传入html源码，返回源码中的图片链接list
def getimagesurl(html):
    reg = 'src="(http://.*?\.jpg)"'
    imageurllist = re.findall(reg,html)
    return imageurllist


#根据文件名创建文件
def createFileWithFileName(localPathParam,fileName):
    totalPath=localPathParam+'\\'+fileName
    if not os.path.exists(totalPath):
        file=open(totalPath,'a+')
        file.close()
        return totalPath
#传入image连接的list将图片存到本地文件
def saveimages(imageurllist):
    name = 0
    for imageurl in imageurllist:
        print imageurl
        #urllib.urlretrieve('E:\\tupian','{}.jpg'.format(name))
        localPath = 'E:\\tupian'
        urllib.urlretrieve(imageurl,createFileWithFileName(localPath,'{}.jpg'.format(name)))
        name+=1

#这里是代码的入口
html = gethtml("http://www.ivsky.com/tupian/ziranfengguang")
imageurllist = getimagesurl(html)
saveimages(imageurllist)

打印结果：

这里我们同时将每个连接所对应的图片写到了本地文件

Coder_Nan

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
python制作简单的爬虫

该爬虫只是简单的爬去了一个小网站上的图片：1# encoding:utf-8 2 import urllib 3 import re 4 #该函数传入URL获得该url所对应的html源代码 5 def gethtml(url): 6 page = urllib.urlopen(url) 7 html = page.read() 8 return
复制链接

扫一扫