- 博客(233)
- 收藏
- 关注
RSS订阅原创 大模型（LLM）的若干科普之问（七）：如何隔离LLM微调结果？
隔离微调结果的核心思想是通过技术手段（如模型实例化、参数隔离、适配器层、LoRA 等）确保每个用户的微调操作独立且互不干扰。具体方法包括：- 为每个用户创建独立的模型副本或参数空间。- 使用适配器层或 LoRA 技术，只微调部分参数。- 通过多租户架构和版本控制实现资源隔离和模型管理。
2025-01-21 14:32:22
771
原创 大模型（LLM）的若干科普之问（六）：部署在本地的LLM的编程
如果你的本地部署的 LLM（大型语言模型）遵循 OpenAI 的 API 规范，那么程序只需要稍作修改即可适配。主要修改点包括：1. **API 地址**：将 OpenAI 的官方地址 (`https://api.openai.com/v1`) 替换为本地部署的 API 地址。2. **API Key**：如果本地部署的 LLM 不需要 API Key，可以移除或设置为空。3. **模型名称**：将 `model` 参数替换为本地部署的模型名称。
2025-01-17 16:33:17
775
原创 大模型（LLM）的若干科普之问（五）：调用LLM涉及哪些参数？
这些参数可以帮助你更精细地控制生成文本的行为和质量。根据你的需求，可以灵活组合这些参数。例如：- 使用 `temperature` 和 `top_p` 控制生成文本的随机性和多样性。- 使用 `presence_penalty` 和 `frequency_penalty` 减少重复内容。- 使用 `stop` 和 `max_tokens` 控制生成文本的长度。
2025-01-17 16:19:02
732
原创 大模型（LLM）的若干科普之问（四）：OpenAI 的 API 接口规范与openai库
`openai` 库是 OpenAI 官方提供的 Python 客户端库，支持与 OpenAI API 的交互。通过该库，可以轻松调用 GPT 系列模型、DALL·E、Whisper 等服务。通常来讲，国内LLM都支持openai库！！！
2025-01-17 16:07:46
644
原创 评分卡模型（Scorecard Model）及其特征工程（分箱（Binning）和证据权重WOE）
评分卡模型是一种广泛应用于信用评分、风险管理、市场营销等领域的统计模型。它通过将客户的各项特征（如年龄、收入、信用历史等）转化为分数，最终汇总为一个总评分，用于评估客户的信用风险或其他行为倾向。评分卡模型（Scorecard Model）及其特征工程中常用到：分箱（Binning）和证据权重WOE（Weight of Evidence）。
2025-01-14 15:15:20
819
原创 特征变量的信息值（Information Value, IV）及其它评估特征变量的重要性和区分能力的指标
特征变量的信息值（Information Value, IV）及其它评估一个特征变量的重要性和区分能力的指标，常用于特征工程，帮助判断某个特征是否适合用于模型构建。
2025-01-14 11:40:37
888
原创 核密度估计（Kernel Density Estimation, KDE）是一种非参数统计方法
核密度估计（Kernel Density Estimation, KDE）是一种非参数统计方法，用于估计随机变量的概率密度函数。它通过将每个数据点周围的核函数叠加，生成平滑的密度曲线。
2025-01-13 08:56:22
1192
原创 科普：没有量子计算机怎么办？模拟
：**量子近似优化算法（QAOA）可以在量子模拟器上运行**，即使没有实际的量子计算机硬件。量子模拟器是在经典计算机上运行的软件工具，能够模拟量子计算机的行为，包括量子比特的状态演化、量子门操作和量子测量等。
2025-01-11 14:42:41
539
原创 如何衡量专家评级和评分模型评级之间一致性或相关性？Spearman 秩相关系数（Spearman’s Rank Correlation Coefficient）
Spearman 秩相关系数是一种强大的工具，适用于衡量两个变量之间的单调关系，尤其在数据不满足线性或正态分布假设时。它的应用场景广泛，包括模型验证、性能评估、数据一致性分析、社会科学研究和生物医学研究等。通过使用 Spearman 秩相关系数，可以更全面地理解变量之间的关系，并为决策提供支持
2025-01-10 14:37:41
1044
原创 时间序列分析中，趋势（Trend）和平稳性（Stationarity）及其它关键特征
**趋势**和**平稳性**是理解和分析时间序列数据时最重要的两个特性，它们对建模和预测具有重要影响。
2025-01-10 10:21:02
800
原创 考考你——你理解“周期性：非固定周期的长期波动”么？
“周期性：非固定周期的长期波动”这句话的意思是，**周期性**指的是时间序列中出现的**长期波动**，但这些波动的**周期长度不固定**，即波动的间隔时间不完全一致。这种波动通常与外部因素（如经济周期、政策变化等）相关，而不是像季节性那样具有严格的固定周期（如每年、每月等）。
2025-01-10 10:10:45
403
原创 考考你——你能区分：时间序列分析中，周期性（Cyclicality）和季节性（Seasonality）么？
在时间序列分析中，**周期性（Cyclicality）**和**季节性（Seasonality）**是两个容易混淆但本质不同的概念。它们的主要区别在于**周期长度是否固定**以及**波动的原因**。
2025-01-10 10:06:27
924
原创 考考你——你能区分么：方差、样本方差、均方差
- **方差**：用于衡量单组数据的离散程度，反映数据点与均值的偏离。- **均方差**：用于衡量预测值与实际值的差异，反映预测模型的准确性。
2025-01-09 19:50:38
543
原创 高考成绩处理中，原始分如何得到汇总分（最终成绩）
在高考成绩处理中，原始分通常需要通过一定的转换方法得到汇总分（最终成绩），以便更公平地比较和评价考生的成绩，本文谈到的公式可用于指标评价
2025-01-09 10:29:24
605
原创 身份验证和授权机制（SSO、OAuth、SSH、ABAC、等等）
在信息系统中，身份验证和授权机制是确保系统安全的关键组成部分。OAuth认证在保护用户隐私和安全的同时，实现了第三方应用程序对用户资源的访问和共享。SSH密钥认证是一种既安全又便利的身份验证方式，广泛应用于远程登录、自动化脚本、多用户环境、多台服务器管理以及自动化部署等场景。通过合理配置和使用SSH密钥认证，可以显著提高系统的安全性和工作效率。
2025-01-09 10:07:38
682
原创 大模型（LLM）的若干科普之问（三）
大型语言模型（LLM）通常为用户提供两种使用方式，一是为普通用户提供聊天界面方式；二是为专业用户提供API方式。
2024-12-31 15:31:17
978
原创 “declarative data-parallel operators“与“MapReduce”
“Declarative data-parallel operators”与“MapReduce”在数据处理和并行计算领域具有不同的特点和适用场景。它们之间的关系是相辅相成、相互补充的，而不是相互替代的。在实际应用中，应根据具体的需求和场景选择合适的工具或方法。
2024-12-26 11:47:56
858
原创 收集一些词汇（不定期更新）
SOTA不仅仅是指单一的技术或算法，而是指在某一领域内，经过实践验证，被认为是最有效、最先进的解决方案。PPO旨在改进和简化以前的策略梯度算法，如TRPO（Trust Region Policy Optimization，信任域策略优化），它通过几个关键的技术创新提高了训练的稳定性和效率。PPO是一种用于训练代理的“on-policy”算法，它直接学习和更新当前策略，而不是从过去的经验中学习。ReFramework 是机器人流程自动化（RPA）领域中的一个常用框架
2024-12-14 15:19:13
138
原创 图计算之科普：BSP计算模型、Pregel计算模型、
BSP模型把并行计算抽象为多个模块，包括处理器集合、发送消息的全局通讯网络、各处理器间的路障同步机制。其并行计算的基本执行单元是超级步（Super Step）。一个BSP程序包含多个超级步，每个超级步由本地计算、全局通信和路障同步三个阶段组成。这三个阶段是严格串行的，即所有处理机本地计算结束后统一进行通讯过程，最后执行同步阶段。Subgraph-centric模型关注图中的子图结构，并以子图作为图计算的基本单位。这种模型允许开发者以子图为中心进行编程，从而更直观地处理和分析图数据。文中推荐了一些学习书藉。
2024-12-13 15:39:34
1069
原创 容器化技术：Kubernetes（k8s）、Pod、Docker容器
Kubernetes（k8s）、Pod、Docker容器在容器化技术领域各自扮演着不同的角色，它们之间既存在区别又相互联系。
2024-12-09 20:46:29
945
原创 大模型（LLM）的若干科普之问（二）
**LLM Playground**：这是一个更广泛的术语，指的是那些专门为探索和实验大型语言模型而设计的平台。总之，如果你正在使用的“通义千问”界面让你能够轻松地与模型互动，并且具有一定的可配置性，那么它确实可以看作是一种简化版的LLM Playground。- **使用方式**：就像你现在正在使用的这个对话界面一样，用户可以输入自然语言的问题或指令，然后接收模型的响应。这一步的作用是为接下来的对话设定一个特定的专业领域或角色，有助于模型更好地理解后续问题，并提供更相关、专业的回答。
2024-11-30 12:05:20
815
原创 RESTful API的Flask实现：用Python编写的轻量级Web应用框架
定义RESTful API是一种通过HTTP协议进行数据通信的接口设计方法，广泛用于构建网络应用和服务。风格是的，RESTful API是一种设计风格，它遵循REST原则，使用标准的HTTP方法（如GET、POST、PUT、DELETE）来实现对资源的操作。这种设计风格使得API更加简洁、易于理解和实现，同时也提高了系统的可扩展性和灵活性。
2024-11-29 11:14:16
1057
原创 LLM的微调（fine-tune）：client.fine_tuning.jobs.create
将按照以下步骤进行：设置（Setup）：加载我们的数据集，并筛选出一个领域以进行微调。数据准备（Data preparation）：通过创建训练和验证样例来准备微调所需的数据，并将它们上传到文件端点。微调（Fine-tuning）：创建您的微调模型。推理（Inference）：使用您的微调模型对新输入进行推理。完成这些步骤后，您应该能够训练、评估和部署一个微调后的gpt-4o-mini-2024-07-18模型。
2024-11-22 21:53:07
437
原创 大模型（LLM）的若干科普之问（一）
LLM在处理自然语言任务时，可能会参考网页等外部资源来获取信息，但这并不等同于检索增强（RAG）技术。RAG旨在通过结合检索和生成，提高LLM生成响应的准确性和信息量。此外，当LLM模型已下载至本地且满足运行要求时，即使在断网情况下，模型仍然可以生成回复。然而，回复的准确性可能受到多种因素的影响，包括模型的训练数据、应用领域、输入数据的格式和内容等。
2024-11-22 11:45:08
648
原创 D3.js（Data-Driven Documents）：JavaScript可视化库
虽然D3.js是一个基于JavaScript的库，专门用于Web数据可视化，但你可以创建一个Python应用，该应用通过某种方式（如Flask或Django等Web框架）将D3.js集成到前端页面中。以下是一个简单的示例，展示如何使用Flask框架创建一个Python Web应用，并在前端页面中嵌入D3.js进行数据可视化。你可以根据需要扩展这个示例，从Flask后端传递更复杂的数据到前端，并使用D3.js创建更复杂的可视化效果。D3.js的核心理念是利用数据来驱动文档的生成和操作，使数据可视化成为可能。
2024-11-19 11:16:11
1022
原创 Nginx是一个独立的Web服务器和反向代理服务器
Nginx并不是一个供程序使用的库，而是系统服务运行（像linx一样地存在）。Nginx通过配置文件进行管理和配置。Python程序通常不会直接与Nginx交互以利用其功能，而是通过Nginx的配置和代理规则来间接利用Nginx的能力。你可以使用之前编写的client.py脚本来测试你的FastAPI应用，确保它能够正确地处理GET和POST请求。
2024-11-19 10:46:40
587
1
原创 记录日志：import logging（logging模块LogRecord类）
使用`logging`模块和`LogRecord`类的示例程序，它将日志记录写入文件。这个程序创建了一个名为`my_logger`的logger，并使用`FileHandler`将日志记录写入名为`log.txt`的文件。
2024-11-16 20:44:23
348
1
原创 用pydantic实现数据模型与字符串、与字典间的互转换：demo.model_dump_json() 、demo.model_validate_json（）、demo.model_dump()
- `model_dump_json()`：将`pydantic`模型转换为JSON格式的字符串。- `model_validate_json()`：将JSON格式的字符串转换为`pydantic`模型。- `model_dump()`：将`pydantic`模型转换为Python字典。- `model_validate()`：将Python字典转换为`pydantic`模型。
2024-11-13 10:44:22
308
原创 把任务添加到事件循环中：asyncio.get_event_loop().create_task
loop = asyncio.get_event_loop().create_task loop.create_task(layer._listen_message()) loop.run_forever()
2024-11-09 18:41:41
362
原创 for的妙用：四种推导式（Set Comprehension、List Comprehension、Dict Comprehension、Tuple Comprehension）
for的妙用：四种推导式（Set Comprehension、List Comprehension、Dict Comprehension、Tuple Comprehension），过滤器：student_peoples = [name for name in peoples if name in {member["name"] for member in school.peoples}]
2024-11-09 10:05:48
314
原创 外部列表推导式（for hits in res）与内部列表推导式（f: hit.entity.get(f) for f in）
外部列表推导式：for hits in res这部分代码遍历res中的每一个hits列表。内部列表推导式：[{f: hit.entity.get(f) for f in search_config[name]["search_params"]["output_fields"]} for hit in hits]这部分代码遍历每一个hits列表中的每一个hit对象。对于每个hit对象，它创建一个新的字典，该字典包含search_config[name]["search_params"]["output
2024-11-08 12:16:09
348
原创 三种常用数据表示：YAML、JSON和字典格式
YAML、JSON和字典格式都是用于存储和表示数据的强大工具，但它们各有其独特的语法、可读性和用途。在选择使用哪种格式时，应根据具体的需求和场景进行选择。例如，如果需要编写易读的配置文件或描述复杂的数据结构，YAML可能更适合；而如果需要简洁且广泛支持的数据交换格式，JSON可能是更好的选择；在编程中，字典则是存储和访问数据的常用数据结构。
2024-11-07 16:27:33
195
原创 基于装饰器的注册机制实现解耦：用@register装饰器
开发者定义了一个函数developer_function，它接受两个参数并返回它们的和。开发者创建了一个别名user_friendly_alias，并使用@register_observation("user_friendly_name")装饰器将其注册到全局字典observation_registry中。这个别名函数简单地调用了developer_function。应用者现在可以通过别名"user_friendly_name"从observation_registry中获取函数，
2024-11-04 12:55:09
344
原创 基于 Uvicorn 的 FastAPI 应用：uvicorn.run(app, host=“0.0.0.0“, port=5050)
Uvicorn 使用 ASGI 规范来处理异步请求。FastAPI 是一个基于 Starlette 的框架，它也遵循 ASGI 规范。Uvicorn 可以将 FastAPI 应用包装成一个 ASGI 应用，然后启动一个服务器来处理传入的 HTTP 请求。如果用户在运行容器时指定了其他命令，`ENTRYPOINT`指定的命令会被覆盖。例如，`docker run /bin/bash`会覆盖`ENTRYPOINT`指定的命令。
2024-10-29 10:58:47
1148
原创 递归函数来更新配置（YAML格式的配置文件）：先加载default_config.yaml，再用custo_config.yamlg更新
**递归更新**: `_update_config`函数递归地遍历用户配置，如果遇到嵌套字典，则递归调用自身来更新默认配置中的相应部分。 **结果**: 最终的`updated_config`字典包含了默认配置和用户配置的组合，其中用户配置覆盖了默认配置中的部分内容。在程序启动时加载配置，允许用户通过自定义配置文件覆盖默认配置，从而实现灵活的配置管理。即：先加载default_config.yaml，再用custo_config.yamlg更新
2024-10-27 20:01:34
336
原创 服务器创建端点、客户端创建连接：用 FastAPI 创建 WebSocket 端点和 HTTP GET 端点，客户端创建 WebSocket 连接，并使用 `asyncio` 库发送和接收消息
客户端使用 Python 的 `websockets` 库创建了一个 WebSocket 连接，并使用 `asyncio` 库发送和接收消息。- 当客户端发送 GET 请求到这个端点时，服务器会调用 `message` 函数，该函数会生成一个包含消息的字典，并调用 `send_to_frontend` 函数将消息发送到前端。- 当客户端连接到这个端点时，服务器会接受连接，并将 WebSocket 对象放入在 `websockets` 中。- 这是一个 HTTP GET 端点，用于处理获取消息的请求。
2024-10-26 22:44:05
474
1
原创 “魔术方法”或“双下划线方法”不用显式调用：__str__、__iter__、__call__。。。
在Python中，有一些特殊方法（通常称为“魔术方法”或“双下划线方法”）是不用显式调用的，它们会在特定的情况下由Python解释器自动调用。这些方法通常以双下划线（__）开头和结尾，并且定义了对象的一些基本行为。例如：__str__、__iter__、__call__。。。
2024-10-26 19:00:16
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人