我用 Python 处理3万多条数据，只要几秒钟…，2024年最新通过五轮面试斩获offer阿里实习生亲述

2、将数据写入数据库

（1）连接数据库，并在数据库中创建新表

A. 连接到我的 qq 数据库

conn = pymysql.connect(host=‘localhost’, user=‘root’, password=‘123456’, db=‘qq’, charset=‘utf8’)

B. 创建新表 qq

在 qq 数据库中创建新表，表名称为 qq ，包含 2 个字段：id 字段为主键、自动递增；qq 字段为字符型，用于存储数据。

cur.execute(“CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))”)

（2）将数据写入数据库

这里使用了两层循环：

for file in files:

f = open(file,‘r’,encoding = ‘UTF-8’)

next(f)

for line in f:

i += 1

#print(line)

sql = “insert into qq(qq) values(%s);”

cur.execute(sql,line)

print(“插入第”, i, “条数据！”)

conn.commit()

f.close()

第一层循环是用来依次打开上述 17 个 txt 文件。

第二层循环是依次读取每个 txt 文件的每一行，并将改行数据插入数据库表 qq 的 qq字段。

至此就完成了数据的导入，总共32073条数据。

数据清洗

---

这里以去除重复值为例，简单介绍一下数据清洗。

1、创建一个新表，用来存储清洗后的数据

可以在 cmd 窗口下登陆 MySQL，打开 qq 数据库，执行下列操作：

CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));

这样就创建了新表 qq_dist ,用来存储清洗后的数据，便于后期调用。

2、清洗数据

登陆 MySQL 后，执行下列操作：

insert into qq_dis(qq) select distinct qq from qq;

将从 qq 表中查找出的不重复的 qq 字段内容，插入到 qq_dist 表中的 qq 字段。

将数据按照特定格式导出

---

案例：将清洗后的数据的第101-200行导出到新的 txt 文本中。

代码如下：

import pymysql

conn = pymysql.connect(host=‘localhost’, user=‘root’, password=‘123456’, db=‘wxid’, charset=‘utf8’)

print(“写入中，请等待……”)

cur = conn.cursor()

sql = “select wxid from wd_dis limit 100,100;”

cur.execute(sql)

conn.commit()

alldata = cur.fetchall()

f = open(‘data101-200.txt’,‘a’)

i = 0

for data in alldata:

i += 1

f.write(data[0])

f.flush()

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
[外链图片转存中…(img-q5R5s17k-1712838282925)]