python实战之操作数据库基础

最新推荐文章于 2024-10-18 00:00:00 发布
最新推荐文章于 2024-10-18 00:00:00 发布
阅读量1.1k 收藏 27
点赞数 21
分类专栏： python实战 文章标签： python 数据库 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67819674/article/details/136196048
版权

python实战之操作数据库基础

熟悉python的常见数据结构

Python 提供了几种内置的数据结构，用于组织和存储数据。以下是一些常见的Python数据结构：

列表（List）:

  • 有序的可变序列。

  • 用于存储一组元素。

  • my_list = [1, 2, 3, 'hello']

元组（Tuple）:

  • 有序的不可变序列。

  • 用于存储一组元素，但一旦创建就不能修改。

  • my_tuple = (1, 2, 3, 'hello','world')

集合（Set）:

  • 无序的可变容器，不允许重复元素。

  • 用于进行集合操作，如并集、交集等。

  • my_set = {1, 2, 3, 4}

字典（Dictionary）:

  • 无序的键值对集合。

  • 用于存储和检索数据，每个键对应一个值。

  • my_dict = {'name': 'John', 'age': 30, 'city': 'New York'}

字符串（String）:

  • 有序的字符序列。

  • 用于存储文本数据。

  • my_string = "Hello, World!"

队列（Queue）:

  • 通过 queue 模块提供的数据结构。

  • 用于实现先进先出（FIFO）的数据结构。

  • import queue; my_queue = queue.Queue()

堆栈（Stack）:

  • 通过 collections 模块提供的 deque 实现。

  • 用于实现后进先出（LIFO）的数据结构。

  • from collections import deque; my_stack = deque()

字节序列（Bytes）:

  • 不可变的字节序列。

  • 用于处理二进制数据。

  • my_bytes = b'Hello'
常见数据结构的操作

在Python中，常见的数据结构包括列表（List）、元组（Tuple）、集合（Set）、字典（Dictionary）等。以下是这些数据结构的一些常见操作：

列表（List）：有序可变

  • 访问元素：通过索引访问列表中的元素，例如 my_list[0]。

    my_list = [1,2,3,4,5]#创建列表
your_list = ['a','b','c']#创建列表
a = my_lsit[0]
print(a)#A
在Python中，当你使用 print() 函数打印一个字符串时，Python会将字符串的值打印出来，而不是字符串的表示形式（包括引号）。这是Python的一种约定，使得输出更加清晰和简洁。
所以，当你打印字符串 'A' 时，输出的内容会是字符 A，而不是带有引号的 'A'。这并不影响字符串在程序中的使用，只是在输出时省略了引号，使输出更加直观

  • 添加元素：使用 append() 方法在列表末尾添加元素，使用 insert() 方法在指定位置插入元素。

    my_list = [1,2,3,4,5]#创建列表
your_list = ['a','b','c']#创建列表
my_list.append(your_list)#添加元素，将整个元素打包放到末尾
my_list.insert(0,'A')#0号位置添加一个'A'
print(my_lsit)
#输出结果：['A', 1, 2, 3, 4, 5, ['a', 'b', 'c']]

  • 删除元素：使用 remove() 方法删除指定值的元素，使用 pop() 方法删除指定位置的元素。

    #创建列表
my_list = [0,1,2,3,4,5]
your_list = ['a','b','c',4,3]
my_list.remove(2)#删除list含有的值，不是index
print(my_list)#[0,1,3,4,5]
your_list.pop(3)
print(your_list)#['a','b','c',3]

  • 切片操作：可以通过切片来获取列表的子集，例如 my_list[start:end]。

    my_list = [1, 2, 3, 4, 5]

# 获取索引为1到3的子集（不包含索引为3的元素）
sub_list = my_list[1:3]
print(sub_list)  # 输出: [2, 3]

# 获取从索引为0到末尾的子集
sub_list = my_list[0:]
print(sub_list)  # 输出: [1, 2, 3, 4, 5]

# 获取从索引为2到末尾的子集，步长为2
sub_list = my_list[2::2]
print(sub_list)  # 输出: [3, 5]

  • 合并列表：使用 + 运算符或 extend() 方法将两个列表合并。

    #使用 + 运算符：
运算符重载：+ 运算符被重载用于列表合并操作，这使得代码更加简洁和直观。
创建新列表：使用 + 运算符创建了一个新的列表对象，原始列表不受影响。
适用性：适用于合并少量的列表或在需要创建新列表的情况下使用。
#使用 extend() 方法：
就地修改：extend() 方法直接在原列表上进行修改，而不是创建新的列表对象。
原地操作：这种方法更节省内存，因为不会创建新的列表对象，而是直接修改了原列表。
适用性：适用于合并大量列表或在不需要创建新列表的情况下使用，以节省内存和提高效率。
总的来说，如果你想保持原始列表不变，并且合并的列表数量较少，使用 + 运算符更为方便；如果你需要在原列表上就地修改，并且合并的列表数量较大，使用 extend() 方法更为高效。

list1 = [1, 2, 3]
list2 = [4, 5, 6]
list1.extend(list2)
print(list1)  # 输出: [1, 2, 3, 4, 5, 6]

元组（Tuple）：

  • 访问元素：通过索引访问元组中的元素，例如 my_tuple[0]。

  • 元组不可变：元组是不可变的，不能修改其中的元素。

    #创建一个元组
my_tuple = (1,2,3,4,5)
#访问元组元素
print(my_tuple[0])

集合（Set）：无序且元素唯一的数据结构

  • 添加元素：使用 add() 方法向集合中添加元素。

  • 删除元素：使用 remove() 方法删除指定值的元素。

  • 集合运算：支持并集、交集、差集等集合运算。

    # 创建一个集合
my_set = {1, 2, 3, 4, 5}

# 添加元素
my_set.add(6)
print(my_set)  # 输出: {1, 2, 3, 4, 5, 6}

# 删除元素
my_set.remove(3)
print(my_set)  # 输出: {1, 2, 4, 5, 6}

#并集
set1 = {1, 2, 3}
set2 = {3, 4, 5}
union_set = set1.union(set2)  # 或者 union_set = set1 | set2
print(union_set)  # 输出: {1, 2, 3, 4, 5}

#交集
intersection_set = set1.intersection(set2)  # 或者 intersection_set = set1 & set2
print(intersection_set)  # 输出: {3}

#差集
difference_set = set1.difference(set2)  # 或者 difference_set = set1 - set2
print(difference_set)  # 输出: {1, 2}

字典（Dictionary）：

  • 访问元素：通过键访问字典中的值，例如 my_dict['key']。

  • 添加键值对：使用 my_dict['new_key'] = value 添加新的键值对。

  • 删除键值对：使用 del 关键字或 pop() 方法删除指定键的键值对。

  • 遍历字典：使用 for key, value in my_dict.items() 遍历字典的键值对。

    # 创建一个字典
my_dict = {'a': 1, 'b': 2, 'c': 3}

# 访问字典元素
print(my_dict['a'])  # 输出: 1

# 添加键值对
my_dict['d'] = 4
print(my_dict)  # 输出: {'a': 1, 'b': 2, 'c': 3, 'd': 4}

# 删除键值对
del my_dict['b']
print(my_dict)  # 输出: {'a': 1, 'c': 3, 'd': 4}

# 遍历字典
for key, value in my_dict.items():
    print(key, value)
# 输出:
# a 1
# c 3
# d 4
数据库操作
  1. 读取数据
  2. 写入数据
读数据

​ 步骤：连接数据库–>获取目标数据库最大表记录–>读取数据–>输出数据

#连接数据库
import pymysql

def get_conn(database_name,pwd):
    # 连接数据库
    con = pymysql.connect(
        host='127.0.0.1',  # 数据库所在地址URL
        user='root',  # 用户名
        password='pwd',  # 密码
        database='database_name',  # 目标数据库名称
        port=3306,  # 端口号
        charset='utf8'
    )
    # 拿到查询游标
    cur = con.cursor()
    return con, cur

def get_max_id(cur):
    #获取目标数据库最大表记录
    sql = 'select MAX(ID) AS lastRecordId FROM 表名'
    cur.execute(sql)
    max_id = cur.fetchone()#返回的是元组
    if max_id[0] == None:
        return 1
    return max_id[0]+1

def read_data(cur):
    # 读取数据
    sql = 'SELECT * FROM 表名'
    cur.execute(sql)
    data = cur.fetchall()
    return data
#执行
if __name__ == '__main__':
    con,cur = get_conn('test','123456')
    max_id = get_max_id(cur)
    print('Max ID:',max_id-1)
    data = read_data(cur)
    print('Data:',data)
    cur.close()
    con.close()
写(插入)数据(简单版)

​ 步骤：连接数据库–>读取文件–>写入数据库

#连接数据库
import pymysql

def get_conn(database_name,pwd):
    # 连接数据库
    con = pymysql.connect(
        host='127.0.0.1',  # 数据库所在地址URL
        user='root',  # 用户名
        password='pwd',  # 密码
        database='database_name',  # 目标数据库名称
        port=3306,  # 端口号
        charset='utf8'
    )
    # 拿到查询游标
    cur = con.cursor()
    return con, cur

def read_txt_file(file_path):
    #读取.txt文件数据
    with open(file_path, 'r', encoding='utf-8') as f:
        data = f.readlines()
    return data

def insert_data_into_db(data):
    #从本地文件写入数据库
    con,cur = get_con('test','123456')
    for line in data:
        fields = line.strip('\n').split(',')
        print(fields)
        # 假设目标数据库表为users，字段名为name、age、city
        sql = f"INSERT INTO users (name, age, city) VALUES ('{fields[0]}', {fields[1]}, '{fields[2]}')"
        cur.execute(sql)
    con.commit()
    cur.close()
    con.close()
if __name__ == '__main__':
    file_path = 'textTosql.txt'
    data = read_text_file(file_path)
    insert_data_into_db(data)

import os #批量读取文件
def get_file_path(path):
    file_list = []#维护一个列表用于存储文件名
    for file_name in os.listdir(path):
        # 强迫症可以拼接完整的文件路径
        file_path = os.path.join(path, file_name)#此步可以忽略
        # 判断是否是文件
        if os.path.isfile(file_path):
            file_list.append(file_path)
         #如何文件命名太乱，可以做一个筛选。
     return file_list
#上面的get_file_path()是一个封装，后面要用就直接传入一个path调用
#eg:
     filen_list = get_file_paths('D:\work_test\gs_data_analysis\data')
     print(filen_list)
复杂版

想象一个场景，你需要批量将本地的数据写入数据库，文件肯定会在一个目录下，此时，你会怎么做？一个文件改一个file_path，然后一个一个运行插入?还是换一个思路？？怎么能不傻瓜式的一个一个修改，做到一劳永逸？

复杂的地方在于：

  1. 文件数量增加
  2. 添加异常处理

它来了…

#前面连接数据库，插入的逻辑都是一样的，改变的是文件批量读取和增加异常处理
import  pymysql,os

def get_con(dbname,pwd):

    con =pymysql.connect(
        host='127.0.0.1',
        port=3306,
        user='root',
        password=pwd,
        db=dbname,
        charset='utf8'
    )
    cur = con.cursor()
    return con,cur


def read_all_show(path):
    # 读取固定目录下的所有源文件
    filename= os.listdir(path) #列出目录下的所有文件
    filelist = [] #维护一个列表存储所有源文件
    # 遍历文件列表
    for file in filename:
        # 使用 os.path.join 拼接目录路径文和件名，得到文件的完整路径
        # file_path = os.path.join(path, file)
        #可以添加判断语句,实现文件的筛选,利用文件名
        if 'text'in file:
        #例如:if '2024_1_17' in file:
                #xxx
            filelist.append(os.path.join(path, file))
    data =[]
    for file in filelist:
        with open(file,'r',encoding='utf8') as f:
            data.extend(f.readlines())
    return data
# All_path = r'D:\work_test\gs_data_analysis\data'文件目录


def insert_into_db(data):
    con,cur = get_con('test', '123456')
    for line in data:
        fields = line.strip('\n').split(',')
        # print(fields)
        if len(fields) >= 3:
            try:
                sql = "insert into users(name,age,city) values(%s,%s,%s)"
                cur.execute(sql,(fields[0],fields[1],fields[2]))
                con.commit()
                print(f'{fields}新增数据成功')
            except pymysql.err.IntegrityError as e:
                print(f'{fields} 新增数据失败：{e}')
                # pass
        else:
            print(f'数据格式错误：{fields}')
    cur.close()
    con.close()

if __name__ == '__main__':
    data = read_all_show(r'D:\TextToSql')
    insert_into_db(data)

运行结果
今天的分享就到这里了，感兴趣的朋友可以跟我留言交流！

瑞翼工人
关注
专栏目录
python连接clickhouse数据库的实战代码
weixin_43178406的博客
09-07 4万+
本文主要介绍了python连接clickhouse数据库的实战代码，希望能对学习python和clickhouse的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Python读写access数据库的实战代码
热门推荐
weixin_43178406的博客
06-02 1万+
本文主要介绍了Python读写access数据库的实战代码，希望能对新手有所帮助。 文章目录 1. 背景简述 2. 环境配置 2.1 基本配置 2.2 安装Python库 3. 实战代码 3.1 读取代码 3.2 写入代码
Python中操作MySQL和SQL Server数据库的基础与实战
一键难忘的博客
02-25 3933
在Python中，我们经常需要与各种数据库进行交互，其中MySQL和SQL Server是两个常见的选择。本文将介绍如何使用`pymysql`和`pymssql`库进行基本的数据库操作，并通过实际代码示例来展示这些操作。
Python程序设计基础——序列结构
2301_79266954的博客
05-03 1163
本篇将从Python的序列结构切入，通过对序列、元组、集合、字典以及字符串进行具体介绍，主要介绍序列结构的方法、函数以及其特性。
Python数据结构——序列（超详细版）
2302_76708905的博客
06-10 3973
本文详细介绍了Python中的数据结构序列，包括序列的常用函数，元组、列表等以及列表推导式
Python 使用Python操作数据库
m0_59745705的博客
04-03 4044
由于SQLite本身是C写的，而且体积很小，所以，经常被集成到各种应用程序中。上述代码中，使用sqlite3.connect()方法连接SQLite数据库文件mrsoft.db，由于mrsoft.db文件并不存在，所以会在本实例Python代码同级目录下创建mrsoft.db文件，该文件包含了user表的相关信息。使用fetchall()方法返回的result3为一个列表，列表中包含所有user表中数据组成的元组，运行结果如下：[(1,'MRSOFT'),(2,'Andy'),(3,'明日科技小助手')]
【python】Python操作Redis数据库的详细教程与应用实战
景天科技苑
08-09 1917
Redis是一个高性能的键值存储数据库，支持多种类型的数据结构，如字符串、哈希表、列表、集合和有序集合等。由于其高效的读写速度和丰富的数据类型支持，Redis被广泛应用于缓存、消息队列、会话管理等多种场景。在Python中，通过redis-py库可以方便地操作Redis数据库。
Python进阶——使用python操作数据库！
2301_78217634的博客
09-10 1339
游标对象代表数据库中的游标，用于指示抓取数据操作的上下文，主要提供执行sql语句，调用存储过程、获取查询结果等方法。sqlite将整个数据库，包括定义、表、索引以及数据本身，作为一个单独的、可跨平台使用的文件存储在主机中。sqLite——嵌入式数据库，它的数据库就是一个文件。以上就是本次分享的全部内容。python内置了sqlite3。
MongoDB数据库基础与PyMongo操作实战
一键难忘的博客
02-24 3723
MongoDB是一款流行的NoSQL数据库，其灵活的文档存储结构和高性能的特性使其成为许多开发者首选的数据库解决方案。在Python领域，PyMongo是MongoDB官方提供的驱动程序，为开发者提供了方便而强大的MongoDB数据库操作工具。本文将介绍MongoDB数据库的基础知识，并通过PyMongo提供的API进行实际的代码操作。
Python编程实战之Oracle数据库操作示例
01-20
本文实例讲述了Python编程实战之Oracle数据库操作。分享给大家供大家参考，具体如下： 1. 要想使Python可以操作Oracle数据库，首先需要安装cx_Oracle包，可以通过下面的地址来获取安装包 ...2. 另外还需要oracle的一些...
Python操作三大主流数据库 实战网易新闻客户端（完整15章全）
09-21
在本课程“Python操作三大主流数据库 实战网易新闻客户端”中，我们将深入学习如何使用Python与MySQL、PostgreSQL和SQLite这三大主流数据库进行交互。这个实战项目将通过模拟网易新闻客户端的数据存储和检索，帮助你...
Python操作三大主流数据库 实战网易新闻客户端视频教程2022
09-20
在本教程“Python操作三大主流数据库 实战网易新闻客户端”中，我们将深入学习如何使用Python语言与MySQL、PostgreSQL和SQLite这三大主流数据库进行交互，从而实现类似网易新闻客户端的数据管理功能。通过这个实战...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1405
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
pandas中数据子集的获取
weixin_43597208的博客
10-14 462
通常，在pandas模块中实现数据框子集的获取可以使用iloc、loc和ix三种方法，这三种方法既可以对数据行进行筛选，也可以实现变量的筛选，它们的语法可以表示成[rows_select,cols_select]。iloc只能通过行号和列号进行数据的筛选，可以将iloc中的i理解为’integer’，即只能向[rows_select,cols_select]指定整数列表该索引方式与数组的索引方式类似，都是从0开始，可以间隔取号，对于切片仍然无法取到上限。
Python编程实例-猜数字游戏
视觉与物联智能
10-17 41
每个人都喜欢玩游戏。数字游戏既有趣又对大脑活动有益。在本文中，我们将使用Python创建一个有趣的数字猜谜游戏
Python 使用 Jarvis 算法或包装的凸包（Convex Hull using Jarvis’ Algorithm or Wrapping）
csdn_aspnet的专栏
10-14 1190
例如，当输入 (0, 3), (0, 0), (0, 1), (3, 0), (3, 3) 时，它产生 (0, 3) (0, 0) (3, 0) (3, 3) 的输出；当输入 (0, 3), (0, 1), (0, 0), (3, 0), (3, 3) 时，输出为 (0, 3) (0, 1) (0, 0) (3, 0) (3, 3)。下一个点被选为在逆时针方向上领先于所有其他点的点，即，如果对于任何其他点 r，我们有“orientation(p, q, r) = 逆时针”，则下一个点是 q。
【Java 22 | 8】 深入解析Java 22 ：Pattern Matching 特性详解
颜淡慕潇
10-17 1953
Java 22 进一步扩展了模式匹配（Pattern Matching）功能，简化了类型检查和条件表达式的使用。此特性不仅提升了代码的可读性，还减少了常见的错误。以下是对 Java 22 中模式匹配的详细介绍，包括基础概念、增强特性、使用场景、示例代码，以及如何在实际项目中有效利用模式匹配
计算机毕业设计Python深度学习房价预测 房源可视化 房源爬虫 二手房可视化 二手房爬虫 递归决策树模型 机器学习 深度学习 大数据毕业设计
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-18 332
计算机毕业设计Python深度学习房价预测 房源可视化 房源爬虫 二手房可视化 二手房爬虫 递归决策树模型 机器学习 深度学习 大数据毕业设计
10月下半记录
cqbzcsq的博客
10-14 151
之后又出现了这种情况，reload window的时候突然断连了，关掉terminal之后再进行reload window就又好了，很奇怪，可能是vscode选择环境和conda出现了一些冲突。indices和data的长度均为矩阵中的非零值个数，indtpr长度为矩阵行数+1且单调不降，且最后一个值等于矩阵中的非零值个数。则说明data[0,1)的值a在第一行，data[1,4)的值bcd在第二行，data[4,8)的值efgh在第三行，第四行没有值。之前都可以正常连接，但是突然就不对了。
Python操作MongoDB数据库实战指南
"本文主要介绍了如何在Python中与MongoDB数据库进行交互，包括MongoDB的安装、配置，以及使用Python的pymongo库进行数据的插入操作。" 在Python编程中，MongoDB是一个广泛使用的NoSQL数据库，因其支持BSON数据格式...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值