自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

编码时光

方便自查的个人学习笔记

  • 博客(946)
  • 资源 (46)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 学习资源 - 深度学习/LLM 等

综合RAGPyTorchNLP语音CV综合机器学习

2023-02-22 18:42:25 424

原创 Felo 实时语音翻译 小记

关于 Felo产品支持语言

2024-07-26 23:38:54 150

转载 Alibaba Pai

关于 Alibaba PaiPAI底层支持多种计算框架：PAI提供的服务：优势产品架构功能特性人工智能平台 PAI基本概念管理员视角AI开发视角PAI产品模块

2024-07-26 23:13:41 6

原创 TransformerEngine

一、关于 TransformerEngine ？亮点二、使用示例PyTorchJAXFlax三、安装先决条件Dockerpip从源码使用 FlashAttention-2 编译四、突破性的变化v1.7: Padding mask definition for PyTorch五、FP8 收敛六、集成七、其它贡献论文视频最新消息

2024-07-26 22:52:24 170

原创 查看 NVIDIA GPU 架构

查看架构 vidia-smi -q | grep Architecture

2024-07-26 21:18:57 32

原创 Stirling-PDF

Stirling-PDF 是一个强大的、本地托管的基于Web的PDF操作工具，使用Docker。它使您能够对PDF文件执行各种操作，包括拆分、合并、转换、重组、添加图像、旋转、压缩等。这个本地托管的Web应用程序已经发展到包含一组全面的功能，寻址您的所有PDF需求。Stirling PDF 不会出于记录保存或跟踪目的 发起任何站外呼叫。所有文件和PDF要么只存在于客户端，要么仅在任务执行期间 驻留在服务器记忆中，要么仅在任务执行时 临时驻留在文件中。到那时，用户下载的任何文件都将从服务器中删除。

2024-07-26 10:42:54 582

原创 fabric

一、关于 fabricNetwork Chuck 的介绍视频什么以及为什么换句话说，人工智能没有能力问题 —— 它有接入问题。哲学将问题分解为组件prompts 太多我们对提示的方法二、快速入门Python 版本设置结构命令三、更新使用 `fabric` 客户端示例命令只需使用模式创建您自己的 Fabric Mill四、结构1、组件2、CLI 原生3、直接调用模式五、示例六、自定义模式七、Agents八、助手应用1、YouTube2、TS（音频转录）安装

2024-07-25 10:55:11 542

原创 Quivr

一、关于 Quivr主要特点🎯二、入门🚀先决条件📋60秒安装💽更新Quivr🚀

2024-07-25 10:17:04 224

原创 Composio

一、关于 Composio为什么是Composo？🤔主要特点 🔥例子💡二、Python入门🚀1、安装2、马上测试 Composio三、🚀Javascript入门1、安装Composo SDK：2、设置OpenAI和 Composio 工具集：3.运行您的脚本：

2024-07-25 10:03:01 719

原创 LiteLLM

一、关于 LiteLLM🚅企业级我们为什么要建造这个？二、用法异步流日志可观测性三、OpenAI代理📖代理端点快速启动代理-CLI第1步：启动litellm代理第2步：向代理发出ChatCompletions请求代理密钥管理请求预期反应四、支持的 Providers五、贡献

2024-07-25 09:45:21 655

原创 llama-agentic-system

一、关于 llama-agentic-system二、LLama代理系统安装和设置指南1、创建Conda环境2、运行FP83、作为包安装4、测试安装5、下载检查点（或使用现有模型）6、配置推理服务器配置7、运行推理服务器8、配置代理系统9、为工具添加API密钥10、启动应用程序并与服务器交互11、启动一个可以创建代理并与推理服务器交互的脚本

2024-07-24 09:59:49 1140

原创 Mem0 - 个人 AI 的内存层

一、关于 Mem0核心功能🔑路线图 🗺️常见用例Mem0与RAG有何不同？二、快速入门 🚀1、安装2、基本用法（开源）3、高级用法🔧4、大模型支持三、MultiOn1、概览2、设置和配置4、将记忆添加到Mem05、检索相关记忆6、浏览arxiv7、结论

2024-07-23 22:31:00 708

原创 MinerU、Magic-PDF、Magic-Doc

一、关于 MinerU二、Magic-PDF1、简介2、项目全景3、流程图4、子模块仓库三、Magic-PDF 上手指南1、配置要求2、安装配置1. 安装Magic-PDF2. 下载模型权重文件3. 拷贝配置文件并进行配置4. 使用CUDA或MPS加速推理CUDAMPS3、使用说明1) 通过命令行使用直接使用更多用法2) 通过接口调用本地使用在对象存储上使用4、常见问题处理解答四、Magic-Doc1、简介2、安装3、使用示例4、性能

2024-07-22 08:15:00 1426

原创 使用 SpeechT5 进行语音合成、识别和更多功能

一、SpeechT5 介绍二、文字转语音三、语音转语音的语音转换四、用于自动语音识别的语音转文本五、结论

2024-07-21 21:10:39 626

原创 WhisperX

一、关于 WhisperX新闻 🚨二、设置⚙️1、创建Python3.10环境2、安装PyTorch，例如Linux和Windows CUDA11.8：3、安装此repo4、Speaker Diarization三、使用💬（命令行）1、English2、他语言例如德语四、Python使用🐍五、Demos 🚀六、技术细节👷‍♂️七、限制⚠️

2024-07-21 21:04:18 855

原创 pdf2docx - pdf 提取内容转 docx

一、关于 pdf2docx主要功能限制二、安装1、 PyPI2、从remote安装3、从源码安装4、卸载三、转化 PDF例 1: convert all pages例 2: 转换指定页面例 3: multi-Processing例 4: 转换加密的pdf四、提取表格五、命令行交互1、按页面范围2、按页码3、Multi-Processing六、图形界面七、Technical Documentation

2024-07-21 15:23:32 1007

原创 PaddleOCR - 安装使用

当然有些库也依赖高版本的 PyMuPDF，如果项目不相关，可以放在不同 env。感觉写的冗长，实际很简单，本人使用的 Ubuntu 在此记录。您的机器安装的是CUDA9或CUDA10，请运行以下命令安装。如网络链接不畅，可使用 gitee（存在3~5天延时）（我使用 CUDA 12，也是这样安装的）1、安装 PaddlePaddle。3、安装 requirements。2、下载 PaddleOCR。4、安装 pdf2docx。2024-07-18（四）5、安装 PyMuPDF。更新 pip（可跳过）

2024-07-21 14:49:11 344

原创 texify - 识别数学/图像 PDF

一、关于 texify例子训练二、安装手动安装三、使用1、使用技巧2、用于交互转换的应用程序3、转换图像4、Python 中导入并运行四、限制五、基准测试运行自己的基准测试六、其它商业用途感谢

2024-07-21 10:30:30 1119

原创 Nougat - 学术文档PDF解析（LaTeX数学、表格）

一、关于 Nougat二、安装三、获取PDF的预测1、CLI2、API四、数据集生成数据集五、训练六、评估七、其它1、常见问题解答2、引文3、致谢4、许可证

2024-07-21 10:07:21 1065

原创 UniMERNet - 数学公式识别转LaTeX

一、关于 UniMERNet演示视频二、快速入门1、克隆repo并下载模型2、安装3、运行UniMERNet四、评估1、下载UniMER-Test数据集2、运行评估代码3、与SOTA方法的性能比较（BLEU）4、不同方法的可视化结果五、UniMER数据集1、导言2、数据集下载六、其它1、待办事项2、引文3、致谢

2024-07-21 09:56:40 1031

原创 PDF-Extract-Kit

PDF文档中包含大量知识信息，然而提取高质量的PDF内容并非易事。布局检测：使用LayoutLMv3模型进行区域检测，如图像表格标题文本等；公式检测：使用YOLOv8进行公式检测，包含行内公式和行间公式；公式识别：使用UniMERNet进行公式识别；光学字符识别：使用PaddleOCR进行文本识别；由于文档类型的多样性，现有开源的布局检测和公式检测很难处理多样性的PDF文档，为此我们内容采集多样性数据进行标注和训练，使得在各类文档上取得精准的检测效果，细节参考布局检测和公式检测部分。

2024-07-21 09:42:14 1077

原创 Open-Sora

一、关于 Open-Sora📰 资讯最新的 Demo 🎥二、安装1、从源头安装2、使用Docker三、模型权重Open-Sora 1.2 模型权重四、Gradio演示1、本地部署2、入门五、推理1、Open-Sora 1.2 命令行推理2、序列并行推理3、GPT-4o 快速细化六、数据处理七、训练Open-Sora 1.2 训练八、评估九、VAE 训练与评估

2024-07-20 23:08:17 596

原创 LLMsPracticalGuide - 大模型实用指南

一、关于 LLMsPracticalGuide最新消息💥LLM的其他实用指南二、模型实用指南1、BERT风格的语言模型：Encoder-Decoder or Encoder-only2、GPT风格的语言模型：Decoder-only三、数据实用指南1、预训练数据2、微调数据3、测试数据/用户数据四、NLP任务实用指南1、传统NLU任务2、生成任务3、知识密集型任务4、扩展能力5、具体任务6、现实世界的“任务”7、效率8、信任度9、基准指令调整10、对齐安全校准（无

2024-07-20 14:05:02 551

原创 SentenceTransformers (SBERT)

一、关于 SBERT特点预训练模型应用实例二、安装开发设置三、入门使用四、训练五、Cross Encoder

2024-07-19 23:15:21 838

原创 xFormers - Transformers 加速研究的工具箱

一、关于 xFormers特点二、安装xFormers三、Benchmarks（可选）测试安装四、使用xFormers1、Transformers 关键概念2、Repo map3、主要特点4、安装故障排除

2024-07-17 11:59:30 907

原创 FastChat

一、关于 FastChat二、安装方法1：使用pip方法2：从源码三、模型权重1、Vicuna 权重2、其他模型四、使用命令行界面进行推理1、支持的模型2、单GPU3、多 GPU4、仅 CPU5、Metal 后端（带有Apple Silicon 或 AMD GPU 的 Mac计算机）6、英特尔 XPU（英特尔数据中心和Arc A系列GPU）7、Ascend NPU8、内存不够9、更多平台和量化10、使用 modelscope 中的模型五、使用Web GUI提供服务1、启

2024-07-17 11:20:01 597

原创 trl - 微调、对齐大模型的全栈工具

一、关于 TRL亮点二、安装1、Python包2、从源码安装3、存储库三、命令行界面（CLI）四、如何使用1、`SFTTrainer`2、`RewardTrainer`3、`PPOTrainer`4、`DPOTrainer`五、其它开发 & 贡献参考文献最近策略优化 PPO直接偏好优化 DPO

2024-07-17 10:57:37 757

原创 LLaMA-Factory

一、关于 LLaMA-Factory项目特色性能指标二、如何使用1、安装 LLaMA Factory2、数据准备3、快速开始4、LLaMA Board 可视化微调5、构建 DockerCUDA 用户：昇腾 NPU 用户：不使用 Docker Compose 构建CUDA 用户：昇腾 NPU 用户：数据卷详情6、利用 vLLM 部署 OpenAI API7、从魔搭社区下载8、使用 W&B 面板三、支持1、模型2、训练方法3、数据集预训练数据集指令微调数据集偏好

2024-07-17 10:39:31 1042

原创 MPS 后端

它引入了新的设备，将机器学习计算图和原语映射到 Metal Performance Shaders 图框架和 Metal Performance Shaders 框架提供的经过优化的内核上。新的 MPS 后端扩展了 PyTorch 生态系统，并为现有脚本提供在 GPU 上设置和运行操作的功能。设备支持 在使用 Metal 编程框架的 MacOS 设备上，进行高性能 GPU 训练。要开始使用，只需将您的张量和模块移动到。2024-07-16（二）

2024-07-16 21:27:56 260

原创 Accelerated PyTorch training on Mac

Metal 加速要求开始1.Set upAnacondapip2.安装Anacondapip从源代码构建3.验证反馈意见资源

2024-07-16 21:25:36 989

原创 LLaVA

一、关于 LLaVA摘要二、Multimodal Instrucion-Following Data三、LLaVA：大型语言和视觉助手四、性能1、 视觉聊天：构建多模态GPT-4级聊天机器人2、科学QA：LLaVA与GPT-4协同作用的新SoTA五、以下视觉教学示例1、基于[OpenAI GPT-4技术报告中两个例子的可视化推理](https://arxiv.org/abs/2303.08774)2、光学字符识别（OCR）3、对话示例六、安装升级到最新的代码库使用HuggingFa

2024-07-16 19:59:51 743

原创 llama-cpp-python

一、关于 llama-cpp-python二、安装安装配置支持的后端Windows 笔记MacOS笔记升级和重新安装三、高级API1、简单示例2、从 Hugging Face Hub 中提取模型3、聊天完成4、JSON和JSON模式JSON模式JSON Schema 模式5、函数调用6、多模态模型7、Speculative Decoding8、Embeddings9、调整上下文窗口四、OpenAI兼容Web服务器Web服务器功能五、Docker镜像六、低级API

2024-07-16 17:06:24 1015

原创 Axolotl

一、关于 Axolotl特点Axolotl支持二、快速入门⚡用法三、环境设置1、Docker2、Conda/Pip venv3、Cloud GPU4、Bare Metal Cloud GPULambdaLabsGCP5、Windows6、Mac7、Google Colab8、通过SkyPilot在公共云上启动9、通过 dstack 在公共云上启动四、其他高级设置1、数据集2、配置所有配置选项五、训练运行预处理数据集多GPU1、DeepSpeed2、FSDP

2024-07-16 15:40:17 825

原创 llama.cpp

一、关于 llama.cpp支持的模型：**Multimodal models:****Bindings:****UI: ****Tools:**二、Demo1、Typical run using LLaMA v2 13B on M2 Ultra2、Demo of running both LLaMA-7B and whisper.cpp on a single M1 Pro MacBook三、用法1、基本用法2、对话模式3、网络服务4、交互模式5、持久互动6、语法约束输出四

2024-07-16 14:47:17 1074

原创 Llama - Validation

量化技术Holdout标准评估工具Interpreting Loss and Perplexity定性技术手动测试

2024-07-16 14:41:42 407

原创 Llama - Prompting

制作有效的提示明确说明风格化格式化限制提示使用 Zero- and Few-Shot 学习Zero-Shot PromptingFew-Shot Prompting基于角色的提示思维链技术Self-Consistency检索-增强生成程序辅助语言模型限制无关token减少幻觉

2024-07-16 14:36:44 684

原创 Llama - 量化

PyTorch中支持的量化模式使用 TorchAO 进行 Pytorch量化HF支持的量化QuantoAQLMAWQAutoGPTQBitsAndBytes

2024-07-16 14:28:02 513

原创 Llama - 微调

微调实验跟踪Recipes PEFT LoRAtorchtuneHugging Face PEFT LoRAQLoRA微调

2024-07-16 14:21:19 1105

原创 Meta Llama - Model Cards & Prompt formats

一、Meta Llama 3与Meta Llama 3一起使用的特殊tokenMeta Llama 3Meta Llama 3 Instruct二、Meta Llama Guard 2提示格式三、Meta Code LlamaMeta Code Llama 7B, 13B, and 34BCompletionInstructions 指令Infilling

2024-07-16 11:58:10 870

原创 Purple Llama

一、关于 Purple Llama为什么是紫色的？许可证二、评估和基准CybersecurityCyberSec Eval 1CyberSec Eval 2三、系统级保障Llama GuardCode Shield四、入门

2024-07-16 10:49:16 902

Computer Graphics (CG) Memos-Alvy Ray Smith
下载自 ： http://alvyray.com/Memos/MemosCG.htm

2024-06-02

Google Chrome 99.0.4844.83
Google Chrome 99.0.4844.83

2023-09-28

google chrome 117.0.5938.132
google chrome 117.0.5938.132

2023-09-28

jaychou-lyrics.zip

仅用于学习，共 5819 行

2023-06-20

weather-photos
天气照片分类数据，有四类：cloudy、rain、shine、sunrise 下载自：https://www.kaggle.com/datasets/somesh24/multiclass-images-for-weather-classification

2023-03-21

机器学习 信用卡数据 creditcard-exp.csv
机器学习 信用卡数据

2023-02-27

ffmpeg iOS SDK
根据 https://evanxlh.github.io/2020/07/19/compile-ffmpeg-on-macos/ 教程生成； 不支持 macOS app。

2022-12-18

kaldi-trunk 安装包

你也可以使用下属命令获取 git clone https://github.com/kaldi-asr/kaldi.git kaldi-trunk --origin golden

2022-12-16

oxford-iiit-pet 数据

oxford-iiit-pet 数据，多分类动物图片数据 下载自：https://www.robots.ox.ac.uk/~vgg/data/pets/

2022-12-11

英文-酒店评价数据集-二分类.zip
英文 酒店评价数据 neg: not so much farcical as sour . pos: if you sometimes like to go to the movies to have fun , wasabi is a good place to start .

2022-11-30

中文-酒店评论数据-二分类
内容、格式如下 0,标准间太差房间还不如3星的而且设施非常陈旧.建议酒店把老的标准间从新改善. 1,这个价格，算性价比很高的一个酒店了。当然价格便宜，就不能太计较服务了。总的来说是一个愿意再次入住的酒店。

2022-11-30

Mac jdk-11.0.10_osx-x64_bin.dmg
Mac Java SE Development Kit 11 Downloads 下载自: https://www.oracle.com/java/technologies/javase-jdk11-downloads.html

2021-02-22

Mac neo4j-community-4.2.3-unix.tar.gz
Mac neo4j community Server，下载自：https://neo4j.com/download-center/

2021-02-22

jre-8u281-macosx-x64.dmg
Mac Java JRE, 下载自：https://www.java.com/

2021-02-22

Mac R-4.0.3.pkg

Mac R 语言安装包，下载自：https://cran.r-project.org

2021-02-15

Minst数据集.zip
数据下载自：https://github.com/amplab/datascience-sp14/tree/master/lab7/mldata

2021-02-14

qt-creator-opensource-mac-x86_64-4.14.0.dmg
qtcreator，下载自 https://download.qt.io/official_releases/qtcreator/4.14/4.14.0/

2021-02-03

qt-unified-mac-x64-4.0.1-1-online.dmg
qt 安装包，下载自 https://www.qt.io/download-qt-installer

2021-02-03

AirServer-7.2.6.dmg
使用步骤：https://sspai.com/post/64946 AirServer for Mac是一款能够通过本地网络将音频、照片、视频以及支持AirPlay功能的第三方App，从 iOS 设备无线传送到 Mac 电脑的屏幕上，把Mac变成一个AirPlay终端的实用工具。 下载自：https://www.airserver.com/download

2021-01-23

Python CIFAR-1 数据集 (cifar-10-python.tar.gz)
Python CIFAR-1 数据集；下载自：http://www.cs.toronto.edu/~kriz/cifar.html

2021-01-10

tutorials.zip
TensorFlow 库 tutorials，含 minst 数据集； tf 2.4 可在 tf 主目录下创建 examples 文件夹，添加 __init__.py 文件，再将本压缩包解压后放进 examples 中。

2021-01-08

Neo4j Desktop-1.3.4.dmg
NOSQL 图形数据库 Neo4j Mac 客户端； download from ： https://neo4j.com

2020-12-03

covtype_data.zip
Covertype Data Set 森林覆盖植被数据集 下载自：http://archive.ics.uci.edu/ml/datasets/Covertype

2020-11-25

Mac端R语言IDE: RStudio-1.3.1093.dmg
R 语言 IDE : rstudio， Mac版本 RStudio-1.3.1093.dmg 下载于： https://rstudio.com/products/rstudio/download/#download

2020-11-24

spark-3.0.1-bin-hadoop2.7.tgz
spark 3.0.1，基于 hadoop2.7；发布于 2020.09.02 下载于 https://spark.apache.org/downloads.html

2020-11-17

nltk_data

源自 https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml

2020-11-10

word2vec_sample.zip
NLTK Data 中的 Word2Vec Sample； NLTK: http://www.nltk.org Word2Vec : https://github.com/danielfrg/word2vec

2020-11-09

mysql-8.0.22-macos10.15-x86_64.dmg
mysql Mac 版本安装包；原地址位于：https://dev.mysql.com/downloads/mysql/ ；

2020-11-01

XPathHelper_2.0.2.zip
Chrome 插件 XPath Helper 2.0.2

2020-10-28

Move to Applications folder
Move to Applications folder demo 核心代码来自：https://github.com/RISCfuture/TMMoveToApplicationsFolder

2019-01-07

USB Prober.app
USB Prober.app macOS 查看 USB 连接 基于 iOUSBFamily OS X for 10.9.3

2018-07-08

深入解析Mac OS X & iOS操作系统
中文版 深入解析Mac OS X & iOS操作系统 （ Mac OS X and iOS Internals To the Apple's Core ） 不是五星级清晰，但绝对可见、靠谱

2018-06-29

Packages.dmg pkg打包工具
macOS 平台 pkg 打包工具

2018-06-04

PackageMaker
macOS pkg 生成器， 从 https://developer.apple.com/download/more/?=for Xcode 下载 Auxiliary tools for xcode - July 2012 中抽取

2018-04-07

IORegistryExplorer
查询MacOS，iOS 设备系统信息，可通过此工具获取相关key https://developer.apple.com/download/more/

2018-03-30

macOS 开发 - 选择图片
OSX开发， 选择默认图片、自定义图片、相机拍照。 [[IKPictureTaker pictureTaker] beginPictureTakerWithDelegate:self didEndSelector:@selector(pictureTakerDidEnd:returnCode:contextInfo:) contextInfo:nil];

2017-09-06

iOS 图片剪裁demo
iOS 图片剪裁：圆形、可自定方形尺寸

2017-06-17

Cocoa入门：使用Objective-C
开发MacOS（OSX）上App的书籍资料

2017-05-27

MesaSQLite
Mac查看sqlite的工具；

2017-05-15

iOS 预览 UIDocumentInteractionController QLPreviewController
本demo使用两种预览方式：UIDocumentInteractionController QLPreviewController 展示文件

2017-05-03

查看更多

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除