AI工程仔
让文档更极简易查、让知识更新鲜、让技术更落地。自用笔记,欢迎交流。
展开
-
python-vlc
关于 VLC 可参考 macOS - 安装使用 VLC。需要先安装 vlc,再安装 python-vlc 库。伊织 2023-09-13。导出视频文件的持续时间。原创 2023-09-13 18:44:31 · 489 阅读 · 0 评论 -
macOS - 安装 Python 及地址
Python 官方安装包Pip3Applications - PythonMiniconda多个python环境原创 2023-08-24 17:08:59 · 1153 阅读 · 0 评论 -
FastAPI 5 - 依赖、安全
文章目录一、Dependencies 依赖注入1、函数作为依赖2、类作为依赖3、多次依赖4、同时依赖多个二、安全、授权2、获取当前用户3、密码验证、令牌使用4、JWT 令牌、哈希加密学习自:FastAPI教程第二季(三):依赖+安全(最快python异步并发web框架之一)https://www.bilibili.com/video/BV1p7411Z736一、Dependencies 依赖注入官方说明 https://fastapi.tiangolo.com/zh/tutorial/depen原创 2023-07-29 14:00:02 · 727 阅读 · 0 评论 -
Python 语法1 - 基础
文章目录关于 Python环境搭建基本语法一些特性关于 Python官网:https://www.python.org教程:廖雪峰:https://www.liaoxuefeng.com/wiki/1016959663602400环境搭建Python 安装目前只写了 Ubuntu 版本,后续可能会加上 macOS 安装https://blog.csdn.net/lovechris00/article/details/122120459下载 Pythonhttps://www.pyth转载 2022-02-28 10:42:59 · 85 阅读 · 0 评论 -
GraalVM 安装及运行Python
文章目录关于 GraalVM安装GraalVM Python使用 ginstall 安装第三方包graalpython 交互模式下执行 python 代码关于 GraalVMGraalVM : a high-performance JDK distributionIt is designed to accelerate the execution of applications written in Java and other JVM languages while also providing原创 2022-05-17 10:12:55 · 2973 阅读 · 2 评论 -
phkit - 中英音素处理、文本转拼音、文本正则化
关于 phkit安装包含组件pinyinkitchinesesymbolsequencepinyinphonemenumberconvertstyleenglish原创 2023-07-26 18:54:40 · 482 阅读 · 1 评论 -
Pinecone - 向量数据库
关于 PineconeRoadMapSemantic SearchChatbots购买查看 API Key创建索引代码调用安装库 pinecone-client查看已经创建的索引创建索引插入数据获取索引统计分析信息查询索引,获取相似向量删除索引原创 2023-07-14 18:43:12 · 983 阅读 · 0 评论 -
PY - ahocorasick
关于 ahocorasick安装 pyahocorasick关于 AC 算法多模式匹配构建模式匹配机转向函数(g)失效函数(f)输出函数(output)使用参考原创 2023-03-02 19:42:57 · 754 阅读 · 0 评论 -
Python 调用终端执行命令(gnome-terminal)
文章目录$ gnome-terminal --help-allUsage: gnome-terminal [OPTION…] [-- COMMAND …]Help Options: -h, --help Show help options --help-all Show all help options --help-gtk Show GTK+ Option原创 2022-01-04 14:41:43 · 9396 阅读 · 0 评论 -
Python - 多页pdf 合称为一页
尝试使用 ReportLab 来重画 pdf,但探索起来有点麻烦。重要的是解决手头这个问题,所以就算方法蠢,但简单完事。以下生成结果,最有一页 pdf 可能会显示在第一页,手动编辑下 pdf 即可;或者你也可以修改代码逻辑来完善。打印ppt,一页占用A4纸比较浪费,想多页合成一个 A4大小;安装 fitz,单独安装 fitz 使用可能会报错。将 PDF 拆分为 图片来保存。原创 2023-07-04 12:14:07 · 954 阅读 · 0 评论 -
nbterm - 终端中使用 jupyter notebook 功能
nbterm关于 nbterm安装使用快捷键翻译 2023-05-21 12:52:45 · 123 阅读 · 0 评论 -
算法+Python - 排序搜索
排序与搜索排序算法的稳定性1、冒泡排序冒泡排序的分析时间复杂度冒泡排序的演示2、选择排序选择排序分析时间复杂度选择排序演示3、插入排序插入排序分析时间复杂度插入排序演示4、快速排序快速排序的分析时间复杂度快速排序演示5、希尔排序希尔排序过程希尔排序的分析时间复杂度希尔排序演示6、归并排序归并排序的分析时间复杂度常见排序算法效率比较搜索二分法查找二分法查找实现(非递归实现)(递归实现)时间复杂度转载 2023-05-07 00:46:10 · 152 阅读 · 0 评论 -
算法+Python - 二叉树
二叉树二叉树的基本概念二叉树的性质(特性)完全二叉树满二叉树二叉树的节点表示以及树的创建二叉树的遍历深度优先遍历先序遍历中序遍历后序遍历广度优先遍历(层次遍历)转载 2023-05-07 00:36:17 · 174 阅读 · 0 评论 -
算法+Python - 栈和队列
栈栈结构实现栈的操作队列队列的实现操作双端队列操作实现转载 2023-05-06 23:47:51 · 71 阅读 · 0 评论 -
算法+Python - 顺序表
采用分离式结构的顺序表,若将数据区更换为存储空间更大的区域,则可以在不改变表对象的前提下对其数据存储区进行了扩充,所有使用这个表的地方都不必修改。一体式结构由于顺序表信息区与数据区连续存储在一起,所以若想更换数据区,则只能整体搬迁,即整个顺序表对象(指存储顺序表的结构信息的区域)改变了。图a为一体式结构,存储表信息的单元与元素存储区以连续的方式安排在一块存储区里,两部分数据的整体形成一个完整的顺序表对象。允许任意加入元素,而且在不断加入元素的过程中,表对象的标识(函数id得到的值)不变。转载 2023-05-06 23:33:00 · 75 阅读 · 0 评论 -
算法 + Python - 内置性能分析 timeit
关于 timeit测试list的操作测试pop操作测试时间复杂度list内置操作的时间复杂度dict内置操作的时间复杂度转载 2023-05-06 23:21:23 · 83 阅读 · 0 评论 -
Django 1 - 快速上手
app 可以理解为project 下的一个模块,这里我创建一个app,用于简单显示,命名为 hello。3、在 templates 下创建 hello 模块,添加 hi.html 文件。注意:直接在 hello 模块下创建 hi.html 文件,无法被访问到。参数name用于反查url地址,相当于给url起了个名字,以后会用到。1、在根目录下,创建添加 templates 文件夹,用来存放模板文件。在 hello 文件夹下,新建 urls.py 文件。就可以看到访问的是 html 文件。原创 2023-04-28 15:38:24 · 636 阅读 · 0 评论 -
Streamlit - 小记
第一次使用,可能需要输入邮箱账号。这里使用 conda。原创 2023-04-27 23:32:14 · 313 阅读 · 0 评论 -
ChatArena - LLMs 之间的通信和协作
一、关于 ChatArena二、快速跑通1、安装2、本地运行Demo三、基本使用1、核心概念Step 1: 定义 LLM Backend 下的多玩家Step 2: 创建一个 Language Game 环境Step 3: 使用 Arena 运行 Language Game其他工具四、高级用法1、`ModeratedConversation`: a LLM-driven Environment2、创建自定义环境转载 2023-04-06 18:06:38 · 543 阅读 · 1 评论 -
VideoCrafter - 文本生成视频
我们提供了一个基于潜在视频扩散模型(LVDM)的基础文本到视频(T2V)生成模型,它可以根据输入的文本描述合成逼真的视频。通过提供描述视频内容的句子以及LoRA触发词(在LoRA训练期间指定),它可以生成具有所需风格(或主题/概念)的视频。基于预训练的LVDM,我们可以通过 在一组描述特定概念的视频剪辑或图像上微调 来创建我们自己的视频生成模型。以下是我们在四种不同风格的视频剪辑上,训练的四个 VideoLoRA 模型的生成结果。我们采用LoRA来实现微调,因为它易于训练,并且需要更少的计算资源。转载 2023-04-06 16:46:27 · 1194 阅读 · 0 评论 -
RapidFuzz
1、RapidFuzz 是 MIT 授权的,所以它可以用于任何你想为你的项目选择的许可证,而你在使用FuzzyWuzzy时被迫采用GPL许可证;3、它主要是用C++编写的,除此之外,它还进行了许多算法改进,使字符串匹配更快,同时仍然提供相同的结果。RapidFuzz是一个用于Python和C++的快速字符串匹配库,它使用FuzzyWuzzy的字符串相似性计算。下面的 benchmark 给出了RapidFuzz和FuzyWuzzy之间的快速性能比较。不同的 scorers 之间有很大的表现差异。转载 2023-04-04 14:58:01 · 688 阅读 · 0 评论 -
Python - 绘制人体生物节律
项目说明关于人体生物节律用到的技术代码实现获取每月有多少天计算每天到生日过了多少天计算节律绘图结果原创 2023-02-20 13:37:54 · 965 阅读 · 9 评论 -
FastAPI 6 - 文件上传接口(requests 发送请求测试)
FastAPI 接收文件上传一、bytes 方式1、接受单个 bytes 数据修改 files 格式2、接收多个 bytes 文件二、UploadFile 格式接收文件1、接收单个文件2、接收多个文件3、多个参数接收文件三、通过网页上传文件四、同时上传文件和参数(不能使用json)1、发送接收单个文件2、发送接收多个文件3、设置文件非必传原创 2022-12-15 16:39:49 · 1913 阅读 · 1 评论 -
小代码 - Python 修改名称为照片拍摄时间(iOS导出照片到macOS后 )
iOS导出照片到macOS后 使用Python 修改名称为照片拍摄时间原创 2022-11-17 18:58:27 · 1052 阅读 · 0 评论 -
latexify-py - Python代码生成 LaTeX 表达式字符串
python 代码生成 latex 表达式原创 2022-10-28 18:45:32 · 770 阅读 · 0 评论 -
正则3 - 反向引用、捕获
捕获 & 不捕获`\1`查找单个组查找多个组使用 \g 替换`?P`原创 2022-09-28 18:29:53 · 347 阅读 · 0 评论 -
Python - OCR 之 pytesseract 简单使用记录
关于 pytesseract安装使用语言支持图片中提取文字原创 2022-09-01 11:23:26 · 656 阅读 · 0 评论 -
Python - PyMuPDF (fitz) 处理 PDF
关于 PyMuPDF安装使用将 PDF 分解、逐张转图片原创 2022-09-01 11:08:41 · 3447 阅读 · 1 评论 -
Python - MoviePy 处理音视频
MoviePy一、关于 MoviePy相关教程安装工作原理二、音频获取音频信息切割拼接音频叠加音频循环播放格式转换视频提取音频三、视频获取视频信息预览视频视频/Gif 提取图片图片生成视频 / gif图片 + 音乐合成视频视频提取 gif视频拼接 concatenate_videoclips堆叠 clips_array合成 CompositeVideoClip设置起始和终止时间 set_start设置视频的位置 set_pos音视频合成设置音频 set_a转载 2022-08-13 11:26:26 · 760 阅读 · 0 评论 -
Python - 进程、线程、协程
多进程基本调用进程池 Pool进程间通信 Queue分布式进程多线程基本调用继承 threading.Thread 类主线程 & 父/子线程属性等,线程状态线程锁 lock多核CPU & GIL锁协程简单使用使用 greenlet使用 geventasync, await...转载 2022-07-21 10:46:18 · 326 阅读 · 0 评论 -
Python - 字符串编解码
Python 编解码, 字节字符串原创 2022-06-24 21:22:54 · 1408 阅读 · 0 评论 -
NLP - linux / macOS 编译安装 hunspell / pyhunspell
一、安装 hunspell1、linux - 源码编译2、mac - brew3、校验二、安装 pyhunspell1、linux2、mac原创 2022-06-20 21:24:31 · 612 阅读 · 1 评论 -
Python - io 模块
文章目录关于 io 模块1、文本 I/O2、二进制(字节) I/O3、原始 I/O二、文本编码格式选择性的 EncodingWarning三、高阶模块接口四、类的层次结构1、I/O 基类class `io.IOBase`class `io.RawIOBase`class `io.BufferedIOBase`2、原始文件 I/Oclass `io.FileIO`3、缓冲流class `io.BytesIO`class `io.BufferedReader`class `io.BufferedWriter`c转载 2022-05-25 10:12:50 · 4483 阅读 · 0 评论 -
特殊字符 U+200X/
文章目录多语种Unicode 字符使用字符Python 代码中 编解码正则去除 emoji使用 emoji 包Unicode 分布处理大量多语文本,可以看到很多特殊字符,这里陆续将遇到的字符在这里做个总结。查询过程中发现个很好的网站,包含了很多 Unicode 字符的说明,感兴趣可以进入了解下:Unicode 字符百科https://unicode-table.com/cn/格式字符Unicode编号Unicode名称HTML代码CSS代码U+200BZero W原创 2022-03-30 14:29:36 · 890 阅读 · 2 评论 -
Anaconda/Miniconda 及 Jupyter Notebook 使用记录
文章目录一、下载 Anaconda二、使用 Jupyter Notebook方式一:终端命令进入方式二:使用 Anaconda 进入方式三:jupyter_mac.command三、Anaconda 安装python方式一:在桌面安装方式二:在终端安装创建新的环境四、Jupyter Notebook 快捷键五、Jupyter Notebook 插件 Nbextensions六、其他使用方法代码自动换行查看 github 中的 ipynb 文件in[*]支持 R语言 IRkernel一、下载 Anacon原创 2022-03-13 14:57:59 · 2303 阅读 · 0 评论 -
Python - 安装 Python、pip、virtualenv
文章目录Ubuntu 安装Python问题创建虚拟环境Python 下载地址:https://www.python.org/downloads/source/你也可以通过 ftp 下载,地址:https://www.python.org/ftp/python/Ubuntu 安装Python这里以安装 3.7.1 为例,下载:wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz# 解压tar -zxvf Python-3原创 2021-12-24 16:09:05 · 1429 阅读 · 0 评论 -
爬虫 - scrapyd
文章目录一、关于 scrapyd安装二、使用 scrapyd、scrapyd-deploy1、修改 `scrapy.cfg`2、启动 scrapyd3、把爬虫项目上传到服务端三、使用 API 查看信息1、`daemonstatus` 查看 服务器状态2、projects3、versions4、spiders5、jobs四、使用 web1、查看 68002、查看 jobs五、运行项目1、`schedule`运行已打包好的 scrapy 项目2、`cancel` 取消运行一、关于 scrapydScrap原创 2022-02-16 09:24:51 · 388 阅读 · 0 评论 -
爬虫 - WebScraper
WebScraper文章目录WebScraper关于 WebScraper一、下载安装方式二:crxdl 搜索下载 WebScraper二、简单爬取1、添加站点2、添加 selector三、爬取更多页面四、爬取详情页内容五、复制规则代码仅供学习交流关于 WebScraper官网 : https://www.webscraper.io/web-scraper-first-time-install一、下载安装方式一:google 应用商店https://chrome.google.com/w原创 2021-12-31 14:49:11 · 1126 阅读 · 0 评论 -
爬虫 - Scrapy 爬取某招聘网站
文章目录项目简介一、创建项目1、终端创建项目2、修改配置二、爬取列表数据1、数据分析2、模型建立3、存储为 json 数据4、存储为 mysql 数据三、爬取列表下一页及所有数据1、特征分析2、编写方法四、图片1、添加图片保存地址2、添加图片请求3、添加图片管道五、爬取详情六、添加下载中间件1、代理 USER_AGENT2、IP 池 PROXIES七、设置日志1、设置日志级别2、设置日志保存地址项目简介eleduck 电鸭 是一款远程工作的招聘交流网站。一、创建项目1、终端创建项目$ scra原创 2021-03-19 07:12:53 · 2630 阅读 · 0 评论 -
spiderkeeper 管理scrapy爬虫(定时执行)
文章目录一、关于 spiderkeeper安装二、使用1、运行 spiderkeeper2、项目生成.egg文件3、启动 scrapyd三、管理项目1、访问管理界面2、创建项目3、上传刚生成的 egg 文件4、查看爬虫四、管理任务1、添加定时任务2、查看任务状态五、服务器部署1、单台服务器2、多台服务器六、更改用户名、密码、端口号1、config.py 更改用户名&密码2、run.py 更改端口号参考一、关于 spiderkeeperGithub: https://github.com/Dor原创 2022-02-16 09:23:39 · 1304 阅读 · 0 评论