数据库导入大量数据

最新推荐文章于 2023-08-31 14:30:12 发布

星空下de青铜

最新推荐文章于 2023-08-31 14:30:12 发布

阅读量319

点赞数

文章标签：数据库 python

本文链接：https://blog.csdn.net/weixin_44628122/article/details/114931253

版权

突然想学一下其他的，巴拉网盘的时候发现这个，上网找一下视频学习
下面为笔记，侵权请联系我进行删除
在这里插入图片描述
用笔记本打不开

excel可以打开很大数据的文件，但也有个限度

大约百万行（假数据，练习用，现已销毁）

发现qq与电话中间的分隔符为双引号
复制到笔记本发现其还有一个类似tab建的空白部分（蓝色那里）
在这里插入图片描述
利用python替换分割符
记得用with open打开文件别用read（）或readline（）之类的
因为with打开在内存中是读取一行删除一行，而后面的则是先加载整个文档–》数据量不大可以，如果数据量太大，最好别尝试

"""
=============青铜亦可仰望星空=================
__AUTHOR__    :   星空下de青铜
__DATE__      ：   2021/3/6
__TIME__      ：   18:10
==============================================
"""
# coding = utf-8

def replace(file1,file2,ord_str, new_str):
    with open(file1, 'r', encoding='utf-8') as f1,\
        open(file2, 'w+', encoding='utf-8') as f2:
        for line in f1:
            if '"' in line:
                line = line.replace(ord_str, new_str)
            if '	' in line:
                line = line.replace('	', "---")
            f2.write(line)
if __name__ == '__main__':
    replace('D:\\soft_data\\BaiduNetdiskDownload\\20190qq.txt', 'D:\\soft_data\\BaiduNetdiskDownload\\3.txt', '"', "")