python数据存储与读取_【Python爬虫】数据保存与读取

1、 Open方法

使用with open()新建对象

写入数据

# -*- coding: utf-8 -*-

# __author__ = 'Carina'

import requests

import os

from lxml import etree

url = "https://movie.douban.com/subject/26861685/comments"

r = requests.get(url).text

s = etree.HTML(r)

file = s.xpath('//div[@class="comment"]/p/text()')

# beforepath_ = os.getcwd() # 获取当前目录

# after_path = os.chdir("C:/Users/Carina/Desktop") #修改目录

# print(before_path)

# print(after_path)

# 使用open()保存

with open('C:/Users/Carina/Desktop/pinglun.txt', 'w', encoding='utf-8') as f: # 使用with创建对象

for i in file:

print(i)

f.write(i)

(1)open方法中可以写上绝对路径

(2)使用os库，getcwd()查看当前目录，使用chdir()修改目录

备注：open函数的打开模式

参数

用法

r

只读。若不存在文件会报错。

w

只写。若不存在文件会自动新建。

a

附加到文件末尾。

rb, wb, ab

操作二进制

r+

读写模式打开

2、使用Pandas第三方库

(1)保存数据到Excel

to_excel() ：用于将DataFrame保存到Excel

#其中df为DataFrame结构的数据，sheet_name = 'Sheet1'表示将数据保存在Excel表的第一张表中

df.to_excel('文件名.xlsx', sheet_name = 'Sheet1')

读取Excel数据

read_excel() ：从excel文件中读取数据

pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

(2)保存数据到csv文件

导入相关的库

将数据储存为DataFrame对象

保存数据到csv文件

import pandas as pd

import numpy as np

df = pd.DataFrame(np.random.randn(6,3)) #创建随机值并保存为DataFrame结构

print(df.head())

df.to_csv('file.csv') #可以是绝对路径，若未指明就在当前目录下

提示：

如果运行以上程序出现ImportError: No module named ‘openpyxl’错误，需要安装“openpyxl”模块，openpyxl只能操作xlsx文件而不能操作xls文件。

(pip install openpyxl)

补充知识

1、在10分钟了解pandas中可以快速了解和学习pandas的基本操作

2、阅读csv模块官方文档，了解使用csv模块保存数据的方法