python 数据去重清洗迁移篇

数据存储去重篇

作为一名有着2年Python爬虫工作经验的程序媛，今天小编来总结一下关于数据存储清洗去重的那些事。
先说存储吧——持久化存储。所谓持久化存储就是把你所抓取到的数据永久保存到你的硬盘里。7种方式实现持久化存储，妈妈再也不会担心我的数据会丢啦
数据存储
（1）csv文件。
（2）Json文件。
（3）文本文件
（4）Mysql数据库
（5）Mongodb数据库
（6）Redis数据库
（7）Pandas
先导包鸭！
import pandas as pd
import numpy as np

再用pandas这个dataframe数据类型，他还有个数据类型是serize
df = pd.DataFrame(np.random.randn(3, 4))
#Dataframe 写入到 csv 文件

df.to_csv(’./data/a.csv’, sep=’,’, header=True, index=True)
#第一个参数是说把 dataframe 写入到 D 盘下的 a.csv 文件中，参数 sep 表示字段之间用’,’分 隔，header 表示是否需要头部，index 表示是否需要行号。

#Dataframe 写入到 json 文件
df.to_json(’./data/a.json’)

#Dataframe 写入到 html 文件
df.to_html(’./data/a.html’)

#Dataframe 写入到剪贴板中
df.to_clipboard()

#Da