python爬虫-存储模块

1.前述

在我们爬取数据中需要存储一些数据，这里写了几种存储的方式。

2.txt文件存储

这是一种普通的存储方式，也是一种简单的存储方式。

 def data_txt(data):
        with open('Text.txt','a',encoding='utf-8') as file:
            file.write('\n'.join(data))

在数据写入文件中使用了join()方法
join()方法语法：

str.join(sequence)
# sequence -- 要连接的元素序列。
# 返回值：返回通过指定字符连接序列中元素后生成的新字符串。

例子

data = ("aaa", "bbb", "ccc")
print('\n'.join(data))

运行结果：

aaa
bbb
ccc

存储在表格中

数据还可以存储在表格中
这个用到了openpyxl这个库

from openpyxl import Workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
import os

def data_excel(data):
    try:
        if not os.path.exists("Test.xlsx"):
            wb = Workbook()
            wb.save(filename = "Test.xlsx" )
        else:
            wb = load_workbook("Test.xlsx")#生成一个已存在的workbook对象
        wb1 = wb.active#激活sheet
        i = 0
        for data in data:
            wb1.cell(1,i+1,data)#往sheet中的第1行第i列写入data的数据
            wb.save("Test.xlsx")#保存
            i = i + 1
    except Exception as e:
        print("存储失败:" + e)

data = ["asd","zxc","qwe"]
data_excel(data)

运行结果：

存储在文档中

存储在文档中需要用到docx这个库

import docx

def data_docx(data,path):
    file = docx.Document() # 创建内存中的word文档对象
    file.add_paragraph(data)
    file.save(path) # 文件保存

data_docx("asdfgh", "E:/1.docx")

运行结果：

存储二进制文件

一般存储图片，视频 等文件

import os
def data(data, path):
	try:
		if not os.path.exists(path):
                os.makedirs(path)
        else:
			with open(path,'wb') as f:
			    f.write(data)
			    f.close()
			    print('保存成功')
	except:
		print('存储失败')