- 博客(90)
- 收藏
- 关注
RSS订阅原创 《使用Python将Excel数据批量写入MongoDB数据库》
在这篇文章中，我们将使用Python编写一个将Excel数据批量写入MongoDB的脚本，以便更加高效地管理数据。其中，我们使用了一些pandas的函数，如fillna、ffill、drop、assign等来对数据进行处理。在连接到数据库之后，我们需要读取Excel文件，并对数据进行初步的处理。这种方法极大地提高了数据管理的效率，使我们能够更好地处理数据，更好地进行数据分析。综上所述，本篇文章介绍了一个简单的Python脚本，可将Excel数据批量写入MongoDB数据库。
2023-11-24 15:15:24
706
原创 读取xlsx文件存入MongoDB数据库中
在以上代码中，我们首先连接到MongoDB数据库并指定数据库和集合。然后我们加载D盘一个名为“城市对照表.xlsx”的xlsx文件并将其读入一个Pandas数据框架。最后，我们将数据插入MongoDB数据库。您需要创建一个MongoDB数据库，以便将数据存储在其中。您可以使用MongoDB Compass或命令行创建数据库。以下是一个Python脚本，可将xlsx文件读取为Pandas数据框架，然后将数据插入MongoDB数据库。脚本将读取xlsx文件并将数据插入MongoDB数据库。
2023-11-07 14:40:33
256
原创 Python 练习100实例（21-40）
猴子吃桃问题：猴子第一天摘下若干个桃子，当即吃了一半，还不瘾，又多吃了一个第二天早上又将剩下的桃子吃掉一半，又多吃了一个。以后每天早上都吃了前一天剩下的一半零一个。到第10天早上想再吃时，见只剩下一个桃子了。求第一天共摘了多少。采取逆向思维的方法，从后往前推断。
2023-10-19 09:42:30
205
原创 Python 存储数据到数据库
首先，需要解析JSON数据，提取出DealResult字段中的数据，可以使用Python的json模块进行解析。然后，将提取出的数据存入MongoDB数据库，可以使用Python的pymongo模块实现。"Msg": "成功"
2023-10-16 15:49:41
122
原创 Python 练习100实例（1-20）
题目：有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？程序分析：可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去 掉不满足条件的排列。
2023-09-28 17:32:59
156
原创 FastAPI 参数的作用
FastAPI是一个现代化的Python web框架，其参数具有重要的作用。在FastAPI中，参数被用于接收HTTP请求中的数据及其它相关信息。
2023-09-05 18:29:45
176
原创 MongoDB增删改查操作
/ MongoDB: /正则表达/i(g|n)$';// 匹配规则：j开头、g或n结尾，不区分大小写(g|n)$/i});{"_id":6},{"$push":{"$each":["read",'music',"$slice":-2 // 保留后两位});
2023-08-15 15:05:53
1216
原创 MongoDB 简介
MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。
2023-08-14 16:25:20
658
原创 Python高阶技巧 递归
1. 什么是递归在满足条件的情况下，函数自己调用自己的一种特殊编程技巧2. 递归需要注意什么？注意退出的条件，否则容易变成无限递归注意返回值的传递，确保从最内层，层层传递到最外层3. os模块的3个方法os.listdir，列出指定目录下的内容os.path.isdir，判断给定路径是否是文件夹，是返回True，否返回Falseos.path.exists，判断给定路径是否存在，存在返回True，否则返回False【Python函数的递归】
2023-08-02 15:52:28
335
1
原创 Python高阶技巧 正则表达式
正则表达式，又称规则表达式（Regular Expression），是使用单个字符串来描述、匹配某个句法规则的字符串，常被用来检索、替换那些符合某个模式（规则）的文本。简单来说，正则表达式就是使用：字符串定义规则，并通过规则去验证字符串是否匹配。比如，验证一个字符串是否是符合条件的电子邮箱地址，只需要配置好正则规则，即可匹配任意邮箱。比如通过正则规则： (^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$) 即可匹配一个字符串是否是标准邮箱格式。
2023-08-02 14:53:33
806
原创 Python高阶技巧 网络编程
创建socket对象服务端：# 绑定ip地址和端口# 监听端口服务端先接收消息再发送消息客服端：# 连接到服务端客服端先发送消息再接收消息。
2023-08-02 14:07:03
154
原创 Python高阶技巧 多线程
1. 什么是进程程序在操作系统内运行，即成为一个运行进程2. 什么是线程进程内部可以有多个线程，程序的运行本质上就是由进程内部的线程在实际工作的。3. 什么是并行执行多个进程同时在运行，即不同的程序同时运行，称之为：多任务并行执行一个进程内的多个线程同时在运行，称之为：多线程并行执行。
2023-08-02 11:20:40
88
原创 Python高阶技巧 设计模式
1. 什么是设计模式设计模式就是一种编程套路。使用特定的套路得到特定的效果2. 什么是单例设计模式单例模式就是对一个类，只获取其唯一的类实例对象，持续复用它。节省内存节省创建对象的开销1. 什么是工厂模式将对象的创建由使用原生类本身创建转换到由特定的工厂方法来创建2. 好处大批量创建对象的时候有统一的入口，易于代码维护当发生修改，仅修改工厂类的创建方法即可符合现实世界的模式，即由工厂来制作产品（对象）
2023-08-02 10:56:47
334
原创 Python高阶技巧（闭包与装饰器）
1. 什么是闭包定义双层嵌套函数， 内层函数可以访问外层函数的变量将内存函数作为外层函数的返回，此内层函数就是闭包函数2. 闭包的好处和缺点优点：不定义全局变量，也可以让函数持续访问和修改一个外部变量优点：闭包函数引用的外部变量，是外层函数的内部变量。作用域封闭难以被误操作修改缺点：额外的内存占用3. nonlocal关键字的作用在闭包函数（内部函数中）想要修改外部函数的变量值需要用nonlocal声明这个外部变量1. 什么是装饰器。
2023-08-02 10:10:20
78
原创 PySpark 数据操作
1. RDD对象是什么？为什么要使用它？提供数据存储提供数据计算的各类方法数据计算的方法，返回值依旧是RDD（RDD迭代计算）后续对数据进行各类计算，都是基于RDD对象进行2. 如何输入数据到Spark（即得到RDD对象）通过SparkContext的parallelize成员方法，将Python数据容器转换为RDD对象通过SparkContext的textFile成员方法，读取文本文件得到RDD对象1. map算子（成员方法）接受一个处理函数，可用lambda表达式快速编写。
2023-08-01 14:57:10
333
原创 PySpark介绍与安装
1. 什么是Spark、什么是PySparkSpark是Apache基金会旗下的顶级开源项目，用于对海量数据进行大规模分布式计算。PySpark是Spark的Python实现，是Spark为Python开发者提供的编程入口，用于以Python代码完成Spark任务的开发PySpark不仅可以作为Python第三方库使用，也可以将程序提交的Spark集群环境中，调度大规模集群进行执行。2. 为什么要学习PySpark？
2023-08-01 11:28:12
438
原创 Python & MySQL
"""数据定义的类"""self.date = date # 订单日期self.order = order # 订单IDself.money = money # 订单金额self.province = province # 订单省份def __str__(self): # 将地址数据转换为字符串。
2023-07-28 18:20:46
566
原创 SQL基础使用
库的创建删除、表的创建删除等数据操纵：DML（Data Manipulation Language）新增数据、删除数据、修改数据等数据控制：DCL（Data Control Language）新增用户、删除用户、密码修改、权限管理等数据查询：DQL（Data Query Language）基于需求查询和计算数据。
2023-07-28 17:45:31
673
原创 MySQL的入门使用
MySQL安装好后，就可以简单的尝试使用它。打开：命令提示符程序，输入：mysql -uroot -p，然后回车后输入密码，即可进入命令行环境这些命令就是后面我们要学习的SQL语言哦。
2023-07-28 16:41:19
338
原创 MySQL的安装
MySQL数据库管理系统由瑞典的DataKonsultAB公司研发，该公司被Sun公司收购，现在Sun公司又被Oracle公司收购，因此MySQL目前属于 Oracle 旗下产品。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，一般开发都选择 MySQL 作为数据库。简单来说，MySQL是一个中小型的数据库，简单易用性能不错，在企业中频繁出现。大多数开发人员都会和MySQL打交道，可以说是开发人员必须会使用的一款数据库软件。
2023-07-28 16:31:24
217
原创 数据库的介绍
1. 数据库是什么？有什么作用呢？数据库就是指数据存储的库，作用就是组织数据并存储数据。2. 数据库如何组织数据呢？按照：库 -> 表 -> 数据 三个层级进行组织3. 数据库软件是什么？我们学习哪种数据库软件呢？数据库软件就是提供库->表->数据，这种数据组织形式的工具软件，也称之为数据库管理系统常见的数据库软件有：Oracle、MySQL、SQL Server、PostgreSQL、SQLite，课程以MySQL软件为基础进行学习4. 数据库和SQL的关系是？数据库（软件）提供数据组织存储的能力。
2023-07-28 16:20:52
109
原创 综合案例（面向对象）
"""数据定义的类"""self.date = date # 订单日期self.order = order # 订单IDself.money = money # 订单金额self.province = province # 订单省份def __str__(self): # 将地址数据转换为字符串"""和文件相关的类定义"""# 先定义一个抽象类用来做顶层设计，确定有哪些功能要实现"""读取文件的数据，读到的每一条数据都转为Record对象，将它们都封装到list内返回即可。
2023-07-27 17:03:25
135
原创 Python面向对象（四）（多态）
1. 什么是多态？多态指的是，同一个行为，使用不同的对象获得不同的状态。如，定义函数（方法），通过类型注解声明需要父类对象，实际传入子类对象进行工作，从而获得不同的工作状态2. 什么是抽象类（接口）包含抽象方法的类，称之为抽象类。抽象方法是指：没有具体实现的方法（pass）称之为抽象方法3. 抽象类的作用多用于做顶层设计（设计标准），以便子类做具体实现。也是对子类的一种软性约束，要求子类必须复写（实现）父类的一些方法并配合多态使用，获得不同的工作状态。
2023-07-27 11:14:19
104
原创 Python 类型注解
1. 什么是类型注解，有什么作用？PyCharm等开发工具对代码做类型推断协助做代码提示开发者自身做类型的备注变量的类型注解函数（方法）的形参和返回值的类型注解3. 变量的类型注解语法语法1： 变量: 类型语法2： 在注释中，# type: 类型4. 注意事项类型注解只是提示性的，并非决定性的。数据类型和注解类型无法对应也不会导致错误1. 函数（方法）可以为哪里添加注解？形参的类型注解返回值的类型注解2. 函数（方法）的类型注解语法？注意，返回值类型注解的符号使用：->
2023-07-27 10:28:44
120
原创 Python面向对象（三）（继承、封装）
1. 封装的概念是指？将现实世界事物在类中描述为属性和方法，即为封装。2. 什么是私有成员？为什么需要私有成员？现实事物有部分属性和行为是不公开对使用者开放的。同样在类中描述属性和方法的时候也需要达到这个要求，就需要定义私有成员了3. 如何定义私有成员？成员变量和成员方法的命名均以__作为开头即可4. 私有成员的访问限制？类对象无法访问私有成员类中的其它成员可以访问私有成员对父类的成员属性或成员方法进行重新定义在子类中重新实现同名成员方法或成员属性即可3. 在子类中，如何调用父类成员。
2023-07-26 18:36:59
615
原创 Python面向对象（二）（构造方法、其它内置方法）
1. 构造方法的名称是：__init__，注意init前后的2个下划线符号2. 构造方法的作用：构建类对象的时候会自动运行构建类对象的传参会传递给构造方法，借此特性可以给成员变量赋值3. 注意事项：构造方法不要忘记self关键字在方法内使用成员变量需要使用self方法功能__init__构造方法，可用于创建类对象的时候设置初始化行为__str__用于实现类对象转字符串的行为__lt__用于2个类对象进行小于或大于比较__le__用于2个类对象进行小于等于或大于等于比较。
2023-07-26 15:35:23
543
原创 Python 面向对象（一）（成员方法、类和对象）
1. 生活中或是程序中，我们都可以使用设计表格、生产表格、填写表格的形式组织数据设计表格，称之为：设计类（class）打印表格，称之为：创建对象填写表格，称之为：对象属性赋值我们简单了解到可以使用类去封装属性，并基于类创建出一个个的对象来使用。class是关键字，表示要定义类了类的属性，即定义在类中的变量（成员变量）类的行为，即定义在类中的函数（成员方法）创建类对象的语法：对象 = 类名称（）def 方法名(self, 形参1, ......, 形参N):方法体。
2023-07-26 09:29:18
166
原创 数据可视化 - 动态柱状图
通过Bar构建基础柱状图1. 通过Bar()构建一个柱状图对象2. 和折线图一样，通过add_xaxis()和add_yaxis()添加x和y轴数据3. 通过柱状图对象的：reversal_axis()，反转x和y轴4. 通过label_opts=LabelOpts(position="right")设置数值标签在右侧显示。
2023-07-25 15:47:07
1034
原创 国内疫情地图和省级疫情地图
基础地图演示from pyecharts.charts import Mapfrom pyecharts.options import VisualMapOptsmap = Map()data = [("北京", 99),("上海", 199),("湖南", 299),("台湾", 199),("安徽", 299),("广州", 399),("湖北", 599)]map.add("地图", data, "china")map.render()基础地图演示 - 视觉映
2023-07-24 18:28:41
1010
原创 Python中pyecharts模块
官网：pyecharts官网pyecharts框架画廊 Echarts 是个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可. 而 Python 是门富有表达力的语言，很适合用于数据处理. 当数据分析遇上数据可视化时pyecharts 诞生了.（适用于JavaScript语音）1. 开发可视化图表使用的技术栈是： Echarts框架的Python版本：PyEcharts包2. 如何安装PyEcharts包： pip install
2023-07-24 11:05:09
854
原创 Python中数据和JSON互相转换
1. json：是一种轻量级的数据交互格式, 采用完全独立于编程语言的文本格式来存储和表示数据（就是字符串）Python语言使用JSON有很大优势，因为：JSON无非就是一个单独的字典或一个内部元素都是字典的列表所以JSON可以直接和Python的字典或列表进行无缝转换。2. json格式数据转化通过 json.dumps(data) 方法把python数据转化为了 json数据如果有中文可以带上：ensure_ascii=False参数来确保中文正常转换。
2023-07-21 15:54:52
371
原创 Python包
从物理上看，包就是一个文件夹，在该文件夹下包含了一个_init_.py 文件，该文件夹可用于包含多个模块文件。从逻辑上看，包的本质依然是模块包的作用：当我们的模块文件越来越多时，包可以帮助我们管理这些模块，包的作用就是包含多个模块，但包的本质依然是模块。我们知道，包可以包含一堆的Python模块，而每个模块又内含许多的功能。所以，我们可以认为：一个包，就是一堆同类型功能的集合体。科学计算中常用的：numpy包数据分析中常用的：pandas包。
2023-07-21 14:39:26
49
原创 Python的模块
制作自定义模块Python中已经帮我们实现了很多的模块，不过有时候我们需要一些个性化的模块，这里就可以通过自定义模块实现。也就自己制作一个模块案例：新建一个Python文件，命名为my_modulel.py，并定义test函数注意：每个Python文件都可以作为一个模块，模块的名字就是文件的名字，也就是说自定义模块名必须要符合标识符命名规则不同模块，同名的功能，如果都被导入，那么后导入的会覆盖先导入的__all__ 变量可以控制import *的时候哪些功能可以被导入。
2023-07-20 18:30:14
30
原创 Python文件的操作
思考:计算机只能识别:0和1，那么我们丰富的文本文件是如何被计算机识别，并存储在硬盘中呢？答案:使用编码技术(密码本)将内容译成0和1存入编码技术即:翻译的规则，记录了如何将内容翻译成二进制，以及如何将二进制翻译回可识别内容。如：以什么编码书写的文件得使用什么编码打开，不然就会出现错误不同的编码，将内容翻译成二进制也是不同的。UTF-8是目前全球通用的编码格式除非有特殊需求，否则，一律以UTF-8格式进行文件编码即可。
2023-07-20 15:03:43
39
原创 Python 5类数据容器总结
注意：字典转换为其他类型时，除去str类型，都会丢失注意：字典转换为其他类型时，除去str类型，都会丢失Value值。根据ASCII表进行比较。
2023-07-19 15:31:18
742
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人