自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

rav009的专栏

大数据相关 Python相关

  • 博客(455)
  • 资源 (9)
  • 收藏
  • 关注

原创 ClaudeCode+KIMI+CC-Connect打造轻量级Openclaw

Openclaw最近的更新有点爆炸,bug太多,升级很不友好这里推荐一个全新的解决方案:ClaudeCode+KIMI+CC-Connect 完美取代Openclaw以下针对Windows环境,此外要会魔法上网用于下载Claude Code命令行。

2026-04-30 19:35:48 225

原创 Copaw 如何配置 Moonshot和钉钉

Copaw配置真的很傻瓜化在配置网页里就能添加:这里还有一个小技巧,我发现添加完成后,这些配置并没有出现在config.json文件里,我很好奇copaw把用户添加的模型provider信息放在哪里了。看了源码才知道,它是放在python目录Site-packages/copaw里,有这么个providers.json文件:配置钉钉就更简单了,在钉钉开发者平台创建好你的机器人应用,然后:在,复制。

2026-03-03 14:40:05 818

原创 如何知道你每次对话OpenClaw消耗多少Token?

从中可以看到他读取了哪些文件,包括Skill的md文件,工具的md文件和workspace下大量自我解释和记忆的md文件。其中 /context detail 最为详细,它精确的告诉你Openclaw把哪些文件读取后,加入了提示词。从中可以知道,我这个会话消耗约14000 Token,折算下来,根据模型的收费不同,大约0.3元~0.7元。不过一般情况下, /context list 就够我们了解情况了。

2026-03-02 20:21:11 1616

原创 巧用 Openclaw Hook机制,在每次启动后通过飞书或钉钉通知你

— 当 OpenClaw 发生特定事件(比如启动、新建会话、收到消息)时,它会自动运行对应的小脚本,帮你完成额外工作,而且完全不用改核心代码。如果你的 workspace目录(~/.openclaw/workspace)里没有的话,请创建一个BOOT.md。我个人配置了钉钉,英文是dingtalk, 你如果配置了其他频道,比如飞书,根据你的实际情况改就行了。这个boot.md就是openclaw每次启动时会执行的Hook。* 里面有一个disable了,是我手动关了。

2026-03-02 17:11:04 1706

原创 Openclaw初始化配置(模型和channel)

参考我前两篇文章完成docker中openclaw的安装。重启openclaw的容器就可以啦。推荐使用飞书(Feishu)

2026-02-28 11:29:58 1730

原创 在Windows docker desktop中编译、运行OpenClaw(下篇)

成功的话,访问出现如下界面:注意: URL里 加入?token=xxxxxxx (即你在openclaw.json里的配置的token,就能通过验证)

2026-02-27 16:32:17 797

原创 在Windows docker desktop中编译、运行OpenClaw(上篇)

如果你的/workspace和windows的对应目录(我映射的是“D:\ProgramData\Docker-Volume\dind”)映射正确的话,就可以去windows的对应目录下找到openclaw-local.tar文件了。这里的“D:\ProgramData\Docker-Volume\dind” 替换成你windows的实际目录,之后Openclaw的image文件会生成在这里。注意:apline的源有可能报TLS错误,是国内网络造成的,可以换ali的源。

2026-02-27 16:07:36 1705

转载 AI图像生成风格完整列表(100+个提示词示例)

把每种风格看作一个创意镜头。你可以单独使用某一种风格,也可以组合多种风格来获得更具体的效果。(照片、插画、绘画、3D 渲染)(电影感、复古、极简、未来主义)(柔和、戏剧化、自然、超现实)(16:9、1:1 等)这样你在构建提示词时,就能更有条理地控制生成图像的整体效果。,意思是它们在不同的图像生成器之间都能很好地转换,比如在 ChatGPT 和其他平台上使用时,不依赖于特定平台的命令。

2026-02-25 11:44:48 181

原创 一文搞懂Wan2.2+ComfyUI必备知识点:Triton、T5、插件优势全解析

摘要:本文深入解析了Wan2.2视频模型在ComfyUI中的关键技术组件。Triton作为NVIDIA开发的GPU加速框架,是运行SageAttention的必要条件,仅支持NVIDIA显卡。Google T5编码器负责将文本提示转换为模型可理解的向量,是Wan2.2理解用户意图的关键。WanVideoWrapper插件相比原生节点具有显著优势:支持新模型快速集成、优化显存管理、提升生成速度2倍、增强兼容性。其核心功能包括两段式采样(提升视频质量)、VACE画质增强和ATI兼容补丁节点,为视频生成提供了更高

2026-02-16 23:22:19 1261

原创 图像领域扩散大模型的盘点(截至到2026年2月 )

家族版本团队分辨率特点开源情况SD生态成熟,社区改进版丰富✅SD社区开发者512 / 1024写实优化、局部修复、艺术风格✅Flux高效采样,跨模态探索✅(部分非商用许可)Flux≥1024专业级质量 / 极速轻量版✅Z-IMAGE基础版阿里巴巴达摩院>1024工业级应用,高分辨率稳定性✅Z-IMAGETurbo阿里巴巴达摩院>1024极速优化,高分辨率快速生成✅KandinskyKandinsky 2.2 等Sber AI。

2026-02-13 14:45:10 670

原创 Safetensors 扩散模型的结构解析(checkpoint & diffusers)

Checkpoint 格式:单文件打包,命名体现“阶段”概念,下载即用但不透明。Diffusers 格式:模块化目录,命名直观,方便替换与扩展,更适合工程化和社区共享。命名差异:Checkpoint 用表示 VAE,而 Diffusers 直接用vae。UNet 在 Checkpoint 中是,在 Diffusers 中则拆分为up_blocksmid_block。

2026-02-12 12:26:06 940

原创 ComfyUI ControlNet 环境搭建备忘录

项目预处理器模型ControlNet 主模型功能生成条件图将条件图应用到扩散模型通用性通用,跨 SD/SDXL/Flux专属,必须匹配版本例子路径预处理器模型负责“分析图像”,ControlNet 主模型负责“约束生成”。预处理器是通用的,而主模型必须和你用的扩散模型版本匹配。

2026-02-09 18:23:35 804

原创 ComfyUI秋叶整合包安装JoyCaption

ComfyUI继承了开源软件的光荣传统,装点插件真的很不容易。今天(2026/2/7)来讲讲装JoyCaption这个插件的经历。这个插件的作用是从图片反推出AI生图的提示词。

2026-02-07 18:50:55 1940

原创 ComfyUI 自助下载 WD14 Tagger的模型文件

由于huggingface被墙,运行ComfyUI的WD14 Tagger插件无法自动下载模型。本文介绍如何利用国内huggingface镜像来自助下载WD14 Tagger的模型。

2026-02-07 14:47:48 746

原创 通俗例子理解 python协程: async和await

想象一下,你是厨房经理,手下有三个厨师,厨房有三口锅)。今天要准备三道大菜:慢炖牛肉(I/O密集型任务)、爆炒时蔬(CPU密集型任务)和清蒸鱼(另一个I/O任务)。

2026-01-02 15:35:04 231

原创 ComfyUI 新手常见问题

ComfyUI推荐安装在系统盘下,但是如果大量模型也装到系统盘,那很容易就把系统盘空间沾满。如何把模型安装到自定义路径?在其中找到models文件夹。把models里面的子文件夹(各种模型分类名 命名的子文件夹,约29个)剪切到你将来要下载和存放模型的文件夹里,比如我打算放到D盘的 D:\ProgramData\ComfyUI\models 路径里。用管理员权限运行命令行(运行路径:C:\Users\xxx\Documents\ComfyUI)

2025-12-30 14:57:58 504

原创 Snowflake Core (COF-CO2 ) 认证最新考点

本文是《SnowPro Core考试新考点总结》的姐妹篇,记录了2025年11月考试中出现的新知识点。重点内容包括:Hybrid Tables实现OLTP/OLAP统一处理;MFA仅支持密钥、TOTP和Duo三种验证方式;Resource Monitor的五种重置周期;DELETE操作需要Virtual Warehouse支持;临时表优先于同名永久表;Snowsight中字符类型统一显示为VARCHAR;REPEATABLE子句确保SAMPLE结果可重复;以及Iceberg表支持Secure Data Sh

2025-12-01 11:44:54 883

原创 在Azure webapp中搭建 基于chroma的 RAG agent

本文记录了在Azure应用服务上部署基于ChromaDB的RAG系统时遇到的两个问题及解决方法。首先针对OpenTelemetry导入错误,通过添加azure-monitor-opentelemetry包解决;其次针对Azure Web App中SQLite版本过低的问题,通过安装pysqlite3-binary包并重定向模块引用来兼容。最终成功实现了ChromaDB客户端的正常调用。这些解决方案为在Azure环境部署向量数据库应用提供了实用参考。

2025-10-31 18:40:42 292

原创 SnowPro Core Certification

《Snowflake跨版本功能对比与核心配置参数解析》摘要:本文系统梳理了Snowflake四大版本(Standard/Enterprise/BusinessCritical/VPS)在安全功能、数据回溯等关键功能的差异,重点对比了列级安全、时间旅行等企业级功能支持情况。同时详解了平台默认配置参数,包括查询缓存24小时、2天超时限制、10分钟自动挂起等核心机制,并补充了数据加载、任务调度等扩展功能要点,为SnowPro Core认证备考者提供清晰的技术参数参考。全文通过表格化对比呈现近20项关键指标差异,帮

2025-09-10 14:57:36 1025

原创 Azure AI Search构建RAG的优化点

常用技能注意事项输入字段需为text类型。输出字段需在索引中定义为searchable或facetable。Skillset 的执行顺序影响最终结果,建议使用图形化界面或 JSON 明确配置。Azure AI Search 是一个高度可定制的搜索平台,适合构建从文档解析到语义问答的完整链路。明确索引 schema 与字段类型,避免后期重构。Skillset 配置应结合数据结构与业务目标,避免冗余处理。向量搜索与语义排序需结合 embedding 策略统一规划。

2025-09-01 12:01:19 675

原创 AI Deep Research 思维链简介

本文介绍了AI平台DeepResearch功能的两种实现方式:1)分类讨论法,通过将问题拆解为子问题并逐步完善答案,适用于学术报告撰写;2)Chain of RAG法,通过层层递进的追问完善知识库检索,适合事实查询。两种方法都采用思维链提示词模板,分别实现问题的分解细化与知识的迭代深化。

2025-08-19 14:33:55 1085

原创 Azure AI Search 探索总结

Azure AI Search 原名 Azure Cognitive Service,是Azure中用来给AI项目构建知识库的组件。比如并不是知识库的每一列都可以用来过滤、检索或group by,而是要根据实际情况配置。1. Azure AI Search Free-tier 只支持16MB以下的文档。3. Storage Blob里配置文件的元属性,AI Search也能自动读到。知识库本质和数据库很像,但是内部的存储结构和检索算法不一样。不支持自定义index结构,复杂场景还是要写代码导入。

2025-08-16 22:12:15 489

原创 Snowflake GenAI 即 Cortex 初识

本文介绍了在SNOWFLAKE平台检查Cortex功能权限的方法。要确认Cortex权限,可检查角色是否拥有CORTEX_USER权限,或直接尝试执行AI_COMPLETE函数测试。文章还指出Cortex本质是SNOWFLAKE数据库的schema,并提供了查看相关函数的SQL语句。文末标注了文档参考来源和查询日期(2025-07-28)。

2025-07-28 15:58:56 466

原创 Trulens 开发指南和踩坑记

摘要:Trulens是一个本地化开源的LLM追踪调试工具,提供可视化Dashboard(基于Streamlit),区别于LangSmith的云端方案。当前与LangChain存在兼容性问题(如仅支持字符串输出,字典格式报错)。2025年6月版本升级至1.5.2后API发生重大变化(如移除trulens_eval模块)。使用需配置Streamlit环境,通过TruChain记录运行链数据,TruSession启动Dashboard查看追踪结果,支持重置SQLite数据库。开发者需注意版本更新带来的适配挑战。

2025-06-27 15:35:41 490

原创 langchain 开发实战

我的开发环境是 windows + python3.8 langchain版本:# langchain 0.2.17# langchain-community 0.2.19# langchain-core 0.2.43# langchain-openai 0.1.25# langchain-text-splitters 0.2.4# langs

2025-06-20 20:52:26 467

原创 Windows安装Docker Desktop(WSL2模式)和Docker Pull网络问题解决

装完Docker Desktop以后,Docker Engine stopped状态。看日志(l路径:%LOCALAPPDATA%\Docker\)发现是WSL报错。

2025-04-12 10:33:31 1723

原创 机器学习的专业术语 和 各种技巧

专业术语Churn = 客户流失,退订 Accuracy = 模型预测的总体(阴性+阳性)的正确比率 Precision = 模型预测中,阳性的预测正确比率 ROC = 体现分类算法中不同阈值对分类效果的影响 Softmax = 神经网络中将输出转换成概率分布 Rectofoed linear units(ReLU) = 神经网络的激活函数 Area under the curve= 曲线下面积,ROC曲线中体现模型分类能力 Horovod = Distributed training f

2024-03-20 19:01:10 1245

原创 AWS Sagemaker详解

图片语义分析= Amazon SageMaker Ground Truth semantic segmentation labeling task。

2024-03-20 18:59:31 1698

原创 机器学习算法大全(MLS-C01)

将图像中的每个像素分配到特定的类别,需要大量训练。时序预测,效果比DeepAR差,适用于小数据集。Word embedding,NLP文章分类。利用已知样本,找最邻近的样本的分类算法。推荐算法,准确度更高,不会误打扰。多智能强化学习,比如处理交通问题。时序预测,适用于季节强相关的序列。回归RNN预测时序分布的模型。卷积神经网络,常用于图像领域。回归算法,常用于填补缺失值。基于CNN的物体识别算法。时序预测,适用于小数据集。CNN的一种,图像识别。循环神经网络,时序预测。主成分分析,常用于降维。

2024-03-18 18:09:55 455

原创 AWS中所有与数据科学有关的服务一览表(MLS-C01)

AWS中所有与数据科学有关的服务一览表(MLS-C01)

2024-03-18 16:39:55 845

原创 Python SDK 访问S3, Error(403) when calling the Heading Object Operation: forbidden

2. 检查桶的ACL设置,是否桶的ACL被配置成上传者所拥有。导致桶的AWS Account下的IAM User和Role无法访问来自其他AWS Account上传的文件。1. 检查桶加密配置,是否使用KMS加密桶。

2024-03-05 18:34:23 788

原创 AWS EC2使用 instance profile 访问S3

AWS EC2 instance可以使用instance profile 配置访问S3的权限。然后就可以直接在EC2上执行 python代码或者AWS CLI去访问S3了。唯一需要注意的地方是,申明region。

2023-12-04 17:46:07 1054

原创 AWS EC2 如何 使用 SSM会话管理器登陆

其次EC的instance role必须有一个叫“AmazonSSMManagedInstanceCore”的策略。首先只有特定版本的OS会默认附带SSM Agent。

2023-11-30 19:24:18 1527

原创 AWS IAM User assume IAM Role的示例代码

一段示例代码,如何用Python boto3先使用某个IAM User的AK SK登陆sts。最后执行某个具体操作,比如代码中的 上传文件到S3 bucket。然后继承某个IAM Role。

2023-09-26 19:31:36 2261

原创 https SSL证书使用 git bash 解密

下载下来的证书压缩包中, 后缀名为key的文件是加密的,密码就是你在上面图片对话框里的输入的密码。需要使用openssl解密。注意,由于使用git bash才会需要在前面加上“winpty”,正常版本openssl不需要。在使用时,比如在AWS ACM中使用时,不能用加密的证书。所以这里讲下怎么解密。填写密码,下载证书,并解压。首先,加密一般加密的是公私钥中的私钥,即private.key。这里使用git bash自带的openssl解密。申请域名证书后,有些证书下载时强制加密。cd到证书解压放置的目录。

2023-09-22 18:11:12 879

原创 AWS DynamoDB浅析

AWS DynamoDB是一个NOSQL数据库。可以通过IAM直接控制权限,和AWS其他服务连用非常方便。

2023-09-04 10:25:51 1805

原创 Redshift 新表 自动赋权

"grant all on all tables" 只会将已有的对象进行赋权。对于未来新建的对象,不会赋权。为了解决这个问题, Redshift 中有一个 "DEFAULT PRIVILEGES" 的概念。可以让新建的对象自动赋权给某个Role或User。中的所有Table对象的所有权限。

2023-08-08 10:17:21 465

原创 AWS Lambda timeout原因总结

AWS Lambda不能放在public subnet中。Lambda本身没有NAT能力,无法获取公网IP。所以Lambda必须置于 private subnet中。并且为其配置NAT Gateway并添加route。其次检查security group。

2023-04-07 18:25:18 1104

原创 AWS ALB ELB导出日志到S3 没权限错误

ELB ALB logs 日志

2023-03-13 19:25:57 1738

原创 AWS Sign-URL的过期时间设置

2. 在浏览器按F12进入源代码模式。在网络中找到名为creds的链接。点击creds,在Cookie中找到“aws-creds”,根据过期时间即可计算得知当前登陆链接的有效时间。如上链接, AWS支持自己写代码生成登陆链接( Sign-URL)来登陆的模式。每个登陆链接都有一个过期时间,最小15min,最大36hours。1. 打开链接登陆AWS Console。那么如何判断自己登陆链接的有效时间呢?在企业中这种方式比较常见。

2023-03-10 19:18:08 1265

AWS Redshift Kinesis.zip

AWS Redshift & Kinesis Data Stream/MSK/Flink 开发教程文档

2022-01-16

CLOSET+ 算法简论

CLOSET+ 算法简论

2013-05-27

详解python实现FP-TREE进行关联规则挖掘

详解python实现FP-TREE进行关联规则挖掘 python3.2实现,可以生成每一步fp树的图片(需要安装PIL)

2013-05-26

python实现FP-TREE挖掘算法

python3.2实现FP-TREE挖掘算法,可以显示每一步FP树的图片

2013-05-24

sping.net 2.0M1 和 NHiernate3.3结合的一个小例子

sping.net 2.0M1 和 NHiernate3.3结合的一个小例子 注意,请自行根据hbm.xml建立数据库,默认配置用的是mssql2005

2012-09-26

visual C#网络编程(郑阿奇编)同步通信程序的源代码

visual C#网络编程(郑阿奇编)同步通信程序的源代码

2012-05-14

visual C#网络编程(郑阿奇编)异步通信程序的源代码

visual C#网络编程(郑阿奇编)异步通信程序的源代码

2012-05-21

数据仓库pdf 合并版

数据仓库pdf 合并版 其他的版本是有多个pdf文件,一章一个,看起来不方便,做了合并成为一个pdf

2013-05-08

codesmith用的根据数据库生成NHibernate资源的模板

codesmith用的根据数据库生成NHibernate资源的模板

2012-09-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除