Python爬取数据存储到本地文本文件

前面说过Python爬取的数据可以存储到文件、关系型数据库、非关系型数据库。前面两篇文章没看的,可快速戳这里查看!https://mp.weixin.qq.com/s/A-qry4r3ymuCLXLBTF6Ccw

https://mp.weixin.qq.com/s/9iUm_csJaY5xCyBUZoAzpg

而存储到文件的数据一般都具有时效性,例如股市行情、商品信息和排行榜信息等等。这样的信息是具有动态性的,非特殊要求,可以存放到文件中,下面让我们来看一下存入文件的几种方法,文章有点长,但全是干货,请耐心看完。

Txt文件存储

将数据保存到TXT文件很简单,使用如下语法即可打开一个文件写入数据。

with open('test.txt','w',encoding='utf-8') as file:

    file.write()

这里来看一个例子:

爬取知乎上“发现”页面的热门话题部分,将问题和答案统一保存为txt格式。

# encoding=utf-8 

import requests

#使用requests库将网页源码获取下来

from pyquery import PyQuery as pq

#使用pyquery解析库解析

url = 'http://www.zhihu.com/explore'

headers = {

    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Mobile Safari/537.36'

}

html = requests.get(url,headers = headers).text

doc = pq(html)

items = doc('.explore-tab .feed-item').items()

for item in items:

    question = item.find('h2').text()

author = item.find('.author-link-line').text()

answer = pq(item.find('.content').html()).text()

with open('test.txt','w',encoding='utf-8') as file:

    file.write('\n'.join([question,author,answer]))

    file.write('\n' + '=' * 50 + '\n')

如下图所示,可以看到这篇文章已经写入文本文件了。

JSON文件存储

JSON(javaScript Object Notation,也就是JavaScript对象标记)

JSON是通过数组和对象的组合来表示数据,构造简洁但结构化程度非常高,是一种轻量级的数据交换格式。Python为我们提供了简单易用的 JSON库来实现JSON文件的读写操作,我们可以调用 JSON loads()方法将JSON文本字符串转为JSON对象,可以通过 dumps()方法将 JSON 对象转为文本字符串,具体看下面代码。

import json

str = '''[{

    "name":"Bob",

    "gender":"male",

    "birthay":"1992-10-18"

} , {

    "name":"Selina",

    "gender":"female",

    "birthdat":"1995-10-18"

}]'''

print(type(str))

data = json.loads(str)

print(data)

print(type(data))

另外我们可以使用dumps()方法将JSON对象转化为字符串,如下图所示。

import json

data = [{

    'name':'Bob',

    'gende':'male',

    'birthday':'1992-10-18'

}]



with open ('data.json','w') as file:

    #如果想保存为JSON格式的,可以在加一个参数indent=2即可。

    file.write(json.dumps(data))



#加参数后的data.json文件内容如下

'''

[

  {

    "name": "Bob",

    "gende": "male",

    "birthday": "1992-10-18"

  }

]

'''

还有一种常见的问题,若JSON文件包含中文字符呢?这样打开肯定会出现乱码的,那么我们该怎么办呢?看下面代码。

import json

data = [{

    'name':'小马',

    'gende':'女',

    'birthday':'1994-12-30'

}]



with open ('data.json','w') as file:

    file.write(json.dumps(data,indent=2))

看到这样的内容,肯定不是我们想要的结果啊,中文字符都变成了Unicode字符,那么,为了显示中文字符,还需要指定参数ensure_asci为 False,另外还需要规定输出文件的编码。这样就可以完美的将中文显示出来了,如下图所示。

with open('data.json','w',encoding='utf-8') as file:

    file.write(json.dumps(data,indent=2,ensure_ascii=False))

CSV文件存储

CSV(Comma-Separated Values),中文可成为逗号分隔值或字符分隔值,其文件以纯文本形式存储表格数据。

Python标准库自带CSV模块,不用自行安装,直接导入即可,代码如下:

import csv

#这里如若文件存在则直接打开,不存在可自动创建,若不设置newline = ''每行数据会隔一行空白行

with open('csv_test.csv','w',newline = '') as csvfile:

    #将文件加载到CSV对象中

    write = csv.writer(csvfile)

    #写入一行表头数据

    write.writerow(['姓名','年龄','电话'])

    #多行数据写入

    data = {('zhangsan','15','13809391234'),('lisi','25','13512340000')}

    #关闭CSV对象

    write.writerows(data)

写数据到CSV使用open函数便可打开文件,那么读CSV数据则使用reader和DictReader,两者都是接收一个可迭代的对象,返回一个生成器。reader函数返回是将一行数据以列表形式返回,而DictReader函数返回的是一个字典,字典的值是单元格的值,字典的键则是这个单元格的标题,具体可看如下代码。

import csv

csvfile = open ('csv_test.csv','r')

#以列表形式输出

reader = csv.reader(csvfile)

#以字典形式输出,第一行作为字典的键

#reader1 = csv.DictReader(csvfile)

rows = [row for in reader]

print(rows)



#以下为输出结果

#[['姓名', '年龄', '电话'], ['zhangsan', '15', '13809391234'], ['lisi', '25', '13512340000']]



#以字典的形式输出,第一行作为字典的键

import csv

csvfile = open('csv_test.csv','r')

reader = csv.DictReader(csvfile)

for row in reader:

    print(row)



#以下为输出结果

#OrderedDict([('姓名', 'zhangsan'), ('年龄', '15'), ('电话', '13809391234')])

#OrderedDict([('姓名', 'lisi'), ('年龄', '25'), ('电话', '13512340000')])

以上代码实现了将整个文件数据全部打印出来了,在实际数据中这也不太现实,我们可能会获取某行的数据,则可以使用循环全部数据再对每行数据进行判断,符合条件的数据筛选出来,具体代码如下。

import csv

csvfile = open('csv_test.csv','r')

#以列表形式输出

reader = csv.reader(csvfile)

for row in reader:

    if 'lisi' in row:

        print(row)



#以下是输出结果

#['lisi', '25', '13512340000']

如果你接触过pandas的话,使用起来也很方便

>>> import pandas as pd

>>> df = pd.read_csv('csv_test.csv',encoding ='gb2312')

>>> print(df)

         姓名  年龄           电话

0  zhangsan  15  13809391234

1      lisi  25  13512340000

>>>

值得注意的是这里可能会出现乱码,需要指定字符编码,csv文件的编码为gb2312或utf-8时,指定编码格式pd.read_csv(name, encoding='gb2312')可解决乱码问题;如果编码格式为utf-8,则另存为txt文件,pd.read_table(name) 不用指定编码格式,也可以解决乱码问题。


使用CSV存储数据相对而言还是简单的,这个也是经常使用的方式,实用性很强,小伙伴要掌握哦,下面顺道说一下EXCEL格式数据的读写。

Excel文件存储

python操作Excel时,对应的有不同的版本支持库,若Excel为2003时,需选择pyExcelerator;若Excel为2007时,需选择openpyxl;而xlrd库支持所有版本的数据读取,xlwt库支持所有版本的数据写入。

所以,考虑到兼容性一般都选择使用 xlrd和xlwt,Windows环境CMD下直接使用pip安装即可。

pip3 install xlrd

pip3 install xlwt

将数据写入到Excel是比较复杂的,有格式以及公式、插入图片等的功能,下面直接看写入Excel的语法。

import xlwt

#新建一个Excel文件

wb = xlwt.Workbook()

#在新建的文件中新建一个名为Python的工作簿

ws = wb.add_sheet(‘Python’,cell_overwrite_ok=True)

#定义字体对齐方式对象

alignment = xlwt.Alignment()

#设置水平方向

#HORZ_GENERAL,HORZ_LEFT,HORZ_CENTER,HORZ_RIGHT,HORZ_FILLED

#HORZ_JUSTIFIED,HORZ_CENTER_ACROSS_SEL,HORZ_DISTRIBUTED

alignment.horz = xlwt.Alignment.HORZ_CENTER

#设置垂直方向

#VERT_TOP,VERT_CENTER,VERT_BOTTOM,VERT_JUSTIFIED,VERT_DISTRIBUTED

alignment.vert = xlwt.Alignment.VERT_CENTER

#定义格式对象

style = xlwt.XFStyle()

style.alignment = alignment

#合并单元格write_merge(开始行,结束行,开始列,结束列,内容,格式)

ws.write_merge(0,0,0,5,'Python数据存储',style)



#写入数据we.write(行,列,内容)

for i in range(2,7):

    for k in range(5):

        ws.write(i,k,i+k)

        #Excel公式xlwt.Formula

        ws.write(i,5,xlwt.Formula('SUM(A'+srt(i+1)+ ':E'+str(i+1)+')'))



#wb.save('file.xls')

#插入bmp格式图片,insert_bitmap(img,x,y,x1,y1,scale_x=0.8,scale_y=1)

#x表示行数,y表示列数,x1表示相对原来位置向下偏移的像素,y1表示相对原来位置像右偏移的像素,scale_x、scale_y表示缩放比例

ws.insert_bitmap('G:\\img.bmp',9,1,2,2,scale_x=0.3,scale_y=0.3)

#保存文件

wb.save('file.xls')

Excel中还有其他的单元格颜色,单元格边框,字体颜色,字体大小,数据类型等等,这里就不展开描述了,下面来看看Excel读取数据。

读取数据需要第三方库 xlrd 来实现,具体代码如下。

import xlrd

wb = xlrd.open_workbook('file.xls')

#获取工作簿的zongshu

ws_count = wb.nsheets

print('Sheets总数:',ws_count)



#通过索引顺序获取Sheets

#ws = wb.sheets() [0]

#ws = wb.sheet_by_index(0)

#通过Sheets名获取Sheets

ws = wb.sheet_by_name('Python')

#获取整行的值,以列表形式返回

row_value = ws.row_values(3)

print('第四行数据为:',row_value)



#获取整列的值,以列表形式返回

row_col = ws.col_values(3)

print('D列的数据为:',row_col)



#获取所有的lie

nrows = ws.nrows

ncols = ws.ncols

print('总行数为:',nrows,'总列数为:',ncols)



#获取某个单元格内容cell(行,列)

cell_F3 = ws.cell(2,5).value

print('F3单元格内容为:',cell_F3)



#使用行列索引获取某个单元格的内容

row_F3 = ws.row(2)[5].value

col_F3 = ws.col(5)[2].value

print('F3单元格的内容为:',row_F3, '\n'  'F3单元格的内容为:',col_F3)

看到这里,顺便在说一下怎么把数据存储到Word中,Word文档中存储的一般为文章、新闻报道和小说这类文字内容较长的数据。

Word数据存储

Python读取Word也是需要第三方扩展库来支持,使用pip install python-docx安装即可。

下面通过例子说明怎么使用Python读取数据吧,废话不多说,直接看代码。

from  docx  import Document

from  docx.shared import Inches

#创建对象

document = Document()

#添加标题,其中'0'代表标题类型,一共有4种类型,具体可在Word的开始菜单,样式下查看

document.add_heading('Python爬虫基础学习',0)

#添加正文内容并设置部分内容格式

p = document.add_paragraph('Python爬虫-')

#设置内容加粗

p.runs[0].bold = True

#添加内容并加粗

p.add_run('数据存储-').bold =  True

#添加内容

p.add_run('Word-')

#添加内容并设置为斜体

p.add_run('存储实例。').italic = True

#添加正文,设置“样式”——> "明显引用"

document.add_paragraph(“样式-明显引用”,style = 'IntenseQuote')

#添加正文,设置“项目符号”

document.add_paragraph(

    '项目符号1',style = 'ListBullet'

 )

document.add_paragraph(

    '项目符号2',style = 'ListNumber'

)



#添加图片

document.add_picture('G:\\img.bmp',width = Inches(1.25))



#添加表格

table = document.add_table(rows = 1, cols = 3)

hdr_cells = table.rows[0].cells

hdr_cells[0].text = 'Qty'

hdr_cells[1].text = 'Id'

hdr_cells[2].text = 'Desc'

for item in range(2):

    row_cells = table.add_row().cells

    row_cells[0].text = 'a'

    row_cells[1].text = 'b'

    row_cells[2].text = 'c'

#保存文件

document.add_page_break()

document.save('test.docx')

通过以上代码便将数据写入到Word,最终结果如下图所示.

最后在看一眼怎么读取Words文件数据,这个就相对比较简单了,不用设置格式,直接读取即可,代码如下所示。

#读取数据

import docx

def readDocx(docName):

    fullText = []

    doc = docx.Document(docName)

    #读取全部内容

    paras = doc.paragraphs

    #将每行数据存储到列表

    for p in paras:

        fullText.append(p.text)

        #将列表数据转换成字符串

    return '\n'.join(fullText)

print(readDocx('test.docx'))

通过上图看出,Word中的图片以及表格使用此方法是没法读取的,还是不尽如人意啊!

那么本周分享就到这里了,内容有点多,慢慢消化哦,下次分享怎么将数据存储到MySQL和Oracle数据库,小伙伴们准备好小板凳继续加油哦!!!

参考资料:黄永祥.清华大学出版社《玩转Python网络爬虫》第九章.文档数据存储


往期精彩回顾▼

Windows环境下基于Anaconda的Python3安装

使用Python爬取《悲伤逆流成河》猫眼信息

(端午节福利)各大影视VIP解析视频观看方法

让我们来聊一聊微信(基于Python分析)

推荐一个好用的PDF阅读器—悦书阅读器

Windows激活破解以及office安装破解

使用Python将图片变成铅笔素描 

欢迎关注此公众号,写作不易,您的关注与点赞将是我不断写作的动力,点击最上方蓝字关注我吧!如果觉得此文对您有帮助,欢迎点赞、分享、转发!

JiekeXu之路

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值