python源文件保存在哪里_python数据爬下来保存在哪里

python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。#coding=utf-8

import urllib.request

import re

import os

'''

Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据

urlopen 方法用来打开一个url

read方法 用于读取Url上的数据

'''

def getHtml(url):

page = urllib.request.urlopen(url);

html = page.read();

return html;

def getImg(html):

imglist = re.findall('img src="(http.*?)"',html

return imglist

html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");

imagesUrl = getImg(html);

if os.path.exists("D:/imags") == False:

os.mkdir("D:/imags");

count = 0;

for url in imagesUrl:

print(url)

if(url.find('.') != -1):

name = url[url.find('.',len(url) - 5):];

bytes = urllib.request.urlopen(url);

f = open("D:/imags/"+str(count)+name, 'wb');

f.write(bytes.read());

f.flush();

f.close();

count+=1

经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。更多相关学习推荐,敬请访问python教程栏目~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值