python
小龙在山东
本博客为个人整理的技术笔记,仅用于学习。
展开
-
flask实现Streaming内容传输
当传输大量内存,以至于超出内存大小,一般http服务器会报500错误,这时可以使用Streaming流的方式来传输内容,类似ChatGPT和视频流那样的输出方式,flask里要用到生成器和直接响应。原创 2024-08-08 21:30:00 · 490 阅读 · 0 评论 -
基于pytesseract的OCR图片识别
pytesseract是基于谷歌的tesseract的OCR包,支持识别一些简单的数字、字母、中文。原创 2024-07-12 23:30:00 · 534 阅读 · 0 评论 -
Java和Python3实现AES/CBC/PKCS5padding加密解密
Java和Python3实现AES/CBC/PKCS5padding加密解密。原创 2022-09-09 20:45:00 · 1843 阅读 · 0 评论 -
基于docxtpl的模板生成Word
docxtpl是一个用于生成Microsoft Word文档的模板引擎库。它结合了docx模块和Jinja2模板引擎,使用户能够使用Microsoft Word模板文件并在其中填充动态数据。这个库提供了一种方便的方式来生成个性化的Word文档,并支持条件语句、循环语句和变量等控制结构,以满足不同的文档生成需求。docxtpl是基于python-docx和jinja2开发出来的库。它通过对docx文档模板加载,使用类似jinja2网页模板开发的语法对其进行修改。原创 2024-05-22 23:00:00 · 956 阅读 · 0 评论 -
Flask基于flask_login实现登录、验证码
flask_login 是一个 Flask 扩展,用于在 Flask web 应用中实现用户会话管理。它允许你跟踪哪些用户已经登录,并管理他们的登录状态。flask_login 提供了用户认证的基础结构,但具体的用户验证(如用户名和密码检查)和存储(如数据库)需要你自行实现。以下是 flask_login 的一些主要特性和功能:用户登录和注销:提供用户登录和注销的接口。用户认证:通过装饰器(如 @login_required)确保只有已登录的用户才能访问特定的视图或路由。原创 2024-04-11 23:45:00 · 649 阅读 · 1 评论 -
Python生成图片和音频验证码
captcha是pyhton的一个模块,用来生成图片和音频验证码。原创 2024-04-12 08:00:00 · 330 阅读 · 0 评论 -
利用Python实现可视化交互界面:Dash
Dash是一个低代码数据框架,用Python实现可视化交互界面,不用写Javascript,开源,支持回调、HTML组件等功能。原创 2024-04-11 21:00:00 · 765 阅读 · 0 评论 -
Ollama利用嵌入模型实现RAG应用
Ollama支持embedding models嵌入模型,从而支持RAG(retrieval augmented generation)应用,结合文本提示词,检索到文档或相关数据。嵌入模型是通过训练生成向量嵌入,这是一长串数字数组,代表文本序列的关联关系。Ollama的嵌入模型有三种:mxbai-embed-large、nomic-embed-text 、all-minilm。原创 2024-04-11 19:00:00 · 4255 阅读 · 2 评论 -
Python字符串模糊匹配:thefuzz
在查询数据时,字符串匹配经常用到模糊匹配,这时就要用到模糊匹配算法,如Levenshtein Distance 算法,计算编辑距离,这里Python的thefuzz包实现了模糊匹配功能。原创 2024-04-07 16:33:08 · 271 阅读 · 0 评论 -
基于textrank4zh实现文本提取关键词、关键短语、摘要
TextRank算法可以用来从文本中提取关键词和摘要(重要的句子)。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。原创 2024-03-08 18:20:07 · 1090 阅读 · 0 评论 -
基于textdistance计算文本相似度
textdistance是Python的第三方库,用于计算文本之间的相似度或距离。它提供了30+个算法,简单易用。原创 2024-03-08 19:45:00 · 360 阅读 · 0 评论 -
基于similarities的文本语义相似度计算和文本匹配搜索
similarities 实现了多种相似度计算、匹配搜索算法,支持文本、图像,python3开发。原创 2024-03-07 21:00:00 · 2047 阅读 · 0 评论 -
python将Word页面纸张方向设置为横向
通过python-docx的章节属性,就可以更改纸张方向、纸张尺寸。更改纸张方向,分两步,第一步是设置section的orientation属性为LANDSCAPE,第二步是设置section的宽高互换。原创 2024-02-06 14:00:00 · 1355 阅读 · 0 评论 -
Win7 和 Win Server 2008 安装Anaconda报错:Failed to extract packages
在Python官网来看,Python 3.8.18之后,就不再支持Windows7。对应Anaconda的版本就是anaconda3-2021.05。原创 2024-01-26 19:00:00 · 591 阅读 · 0 评论 -
基于matplotlib封装的可视化库Seaborn:设置风格样式、设置环境
seaborn是一个基于matplotlib进行高级封装的可视化库,相比之下,绘制图表更为集成化、绘图风格具有更高的定制性。原创 2024-01-25 08:00:00 · 486 阅读 · 0 评论 -
基于python的网页自动化工具:DrissionPage
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器,也能收发数据包,还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大,内置无数人性化设计和便捷功能。它的语法简洁而优雅,代码量少,对新手友好。原创 2024-01-24 08:00:00 · 1265 阅读 · 0 评论 -
pandas read_sql报错:AttributeError: ‘OptionEngine‘ object has no attribute ‘execute‘
pandas不兼容问题sqlalchemy 2.0以上版本。原创 2023-12-04 23:45:00 · 474 阅读 · 0 评论 -
Flask、Pandas实现文件下载
Flask实现文件下载可以用send_file函数,接收BytesIO比特流对象,也可以重命名下载文件,是否可以作为附件下载。注意:output比特流要初始化指针到开头。原创 2023-12-02 21:20:37 · 193 阅读 · 0 评论 -
Python concurrent.futures实现多进程多线程编程
Python的concurrent.futures模块可以很方便的实现多进程、多线程运行,减少了多进程带来的的同步和共享数据问题。Executor是一个抽象类,表示一个可执行的上下文。Future则代表一个将要执行的任务,并提供了一些方法来获取任务的状态和结果。ThreadPoolExecutor是Executor的一个具体实现类,它使用线程池来执行任务。原创 2023-12-02 23:45:00 · 466 阅读 · 0 评论 -
pandas.get_dummies函数:把离散信息转换成onehot矩阵
pandas.get_dummies函数用来把可以分类信息转换成0和1矩阵。原创 2023-12-02 13:45:00 · 315 阅读 · 0 评论 -
Pandas 获取年、季度、月第一天、最后一天,加一秒、加一天、午夜时间
标准化(午夜时间)本月初下个月初月底减去一秒加一天年第一天年最后一天参考pandas.Timestamp.htmlpandas.Series.dt.normalizepandas.tseries.offsets.MonthEnd.htmlpandas.tseries.offsets.MonthBegin.html原创 2023-11-24 21:00:00 · 837 阅读 · 0 评论 -
Pandas 数据关联join() 报错:ValueError: You are trying to merge on int64 and object columns.
使用join进行数据关联,这里用了一个命名的id作为关联主键,左侧是数值类型,右侧是字符串类型。原创 2023-11-23 18:30:00 · 284 阅读 · 0 评论 -
dask读取sql数据:MySQL
注意:dask不兼容sqlalchemy 2.0版本以上。原创 2023-11-22 08:30:00 · 237 阅读 · 0 评论 -
pandas字符串操作:大小写转换、连接、分割、包含等
【代码】pandas字符串操作:大小写转换、连接、分割、包含等。原创 2023-11-18 10:00:00 · 417 阅读 · 0 评论 -
Pandas数据过滤的多种方式
【代码】Pandas数据过滤的多种方式。原创 2023-11-18 09:00:00 · 480 阅读 · 0 评论 -
数据分析工具Polars实现CSV读写、排序、应用函数、lazy API
polars使用rust实现,内部使用arrow列存储格式,支持并行数据处理,比pandas快,分两种模式eager和lazy。适合中、小型数据处理,大型数据建议用Spark。原创 2023-11-14 23:45:00 · 1298 阅读 · 0 评论 -
Pandas时间序列、时间戳对象、类型转换、时间序列提取、筛选、重采样、窗口滑动
时间序列数据是指在时间间隔不变的情况下收集的时间点数据,可以用来分析事物的长期发展趋势,并对未来进行预测。原创 2023-10-29 07:42:53 · 365 阅读 · 0 评论 -
Pandas数据透视表:pivot_table()和crosstab()
Pandas使用pivot_table()方法和crosstab()方法实现透视表。原创 2023-10-28 17:53:14 · 15151 阅读 · 0 评论 -
Pandas分组函数groupby、聚合函数agg和转换函数transform
by: 指定根据哪个/哪些字段分组,默认值是None,按多个字段分组时传入列表。by参数可以按位置参数的方式传入。axis: 设置按列分组还是按行分组,0或index表示按列分组,1或columns表示按行分组,默认值为0。level: 当DataFrame的索引为多重索引时,level参数指定用于分组的索引,可以传入多重索引中索引的下标(0,1…)或索引名,多个用列表传入。原创 2023-10-28 00:12:14 · 481 阅读 · 0 评论 -
Pandas数据导入和导出:CSV、Excel、MySQL、JSON
【代码】Pandas数据导入和导出:CSV、Excel、MySQL SQL。原创 2023-10-26 23:45:00 · 857 阅读 · 0 评论 -
Word docx转html和markdown
Pypandoc使用pandoc来进行各种文本格式的转换。原创 2023-10-24 23:45:00 · 758 阅读 · 0 评论 -
Python中文分词、词频统计并制作词云图
中文分词、词频统计并制作词云图是统计数据常用的功能,这里用到了三个模块快速实现这个功能。原创 2023-10-24 19:00:00 · 1978 阅读 · 0 评论 -
Python自动处理pptx:新建、另存、添加幻灯片、添加标题、插入文本图片图形、提取文本
Python-pptx库是一个用于创建、更新和读取Microsoft PowerPoint .pptx 文件的Python库。它允许我们使用Python脚本自动化PowerPoint文件的创建、更新和读取操作,是一个非常方便自动化处理PPTX的工具。原创 2023-10-24 14:00:00 · 3155 阅读 · 2 评论 -
Python使用Pillow和OpenCV在图片上添加文字
Pillow和OpenCV是Python的图片处理库,可以在图片缩绘制文字。原创 2023-09-29 22:30:00 · 503 阅读 · 0 评论 -
Mojo 语言官网
Mojo面向 AI 开发者的新型编程语言,无缝支持CPU、GPU,兼容Python,跟Python类似的语法,但是比Python快68000倍。目前Mojo仅支持Ubuntu,暂不支持Windows和Mac,可以在。原创 2023-09-08 13:50:38 · 591 阅读 · 0 评论 -
Python发送QQ邮件
使用Python的smtplib可以发送QQ邮件,发送邮件服务器要用465端口,否则如下错误:login的密码不是邮箱登录密码,而是授权码,需要在QQ邮箱设置-账号里获取。原创 2023-08-16 23:45:00 · 5100 阅读 · 1 评论 -
Python测试框架pytest:常用参数、查找子集、参数化、跳过
Pytest是一个基于python的测试框架,用于编写和执行测试代码。pytest主要用于API测试,可以编写代码来测试API、数据库、UI等。pytest是一个非常成熟的全功能的Python测试框架,主要有以下几个优点:简单灵活,容易上手。pytest的语法简洁明了,易于理解和使用。支持参数化。pytest可以通过装饰器或 fixture 方法对测试用例进行参数化,提高测试用例的覆盖率。原创 2023-08-07 22:45:00 · 861 阅读 · 0 评论 -
Python检查端口是否打开(七种方法)
使用socket模块的connect_ex来判断端口是否打开,如果表示连接成功,端口打开,否则端口关闭。原创 2023-08-07 18:45:00 · 4994 阅读 · 0 评论 -
Python 日志模块Logging打印日志、输出到文件、配置格式
Python Logging 是一个内置的 logging 模块,它允许你记录应用程序的调试信息,以便于在开发和部署过程中进行故障排除。原创 2023-08-04 18:46:09 · 1272 阅读 · 0 评论 -
Python用shutil复制文件、移动文件、递归删除文件夹、重命名、压缩解压
shutil 是 Python 标准库中的一个模块,用于处理文件和目录的复制、删除、移动等操作。原创 2023-08-02 18:48:05 · 1819 阅读 · 0 评论