- 博客(57)
- 收藏
- 关注
RSS订阅原创 Python常用新特性记录
增加了采用模式加上相应动作的 match 语句 和 case 语句 的形式的结构化模式匹配。模式匹配使得程序能够从复杂的数据类型中提取信息、根据数据结构实现分支，并基于不同的数据形式应用特定的动作。在类型标注中现在你可以使用内置多项集类型例如 list 和 dict 作为通用类型而不必从 typing 导入对应的大写形式类型名 (例如 List 和 Dict)。这提供了一种表示 ‘类型 X 或类型 Y’ 的相比使用 typing.Union 更清晰的方式，特别是在类型提示中。
2024-03-15 14:40:33
921
原创 diffusers单机多卡推理（全网首发）
我的理解是同一个模型不在一张卡上，auto应该是按层数拆的，但是一个transformer它是一整个块，被拆开会有问题（我是这么理解的，有懂的大神请指出谬误）。好运的是在Accelerate说明文档中我找到了下面的文章，使用init_empty_weights在加载模型时不加载权重，load_checkpoint_and_dispatch函数分发在不同机器上。翻到这篇发现是分布式推理，博主一直以为这个可以达到我想要的效果，但是效果是多线程并行推理，并不能将一个模型切片在多个GPU上。
2024-02-08 09:44:25
1139
原创 ValueError: PEFT backend is required for this method.
根据异常栈发现USE_PEFT_BACKEND是False导致的找到定义此变量文件，PEFT >=0.6 and transformers >= 4.34.0。
2024-02-06 17:36:11
1434
原创 （又见曼德拉效应？）conda创建虚拟环境报错SpecNotFound: Invalid name, try the format: user/package
可以看到在后面指定了sqlite，是一个包名。查看帮助文档可以看到示例，并没有此种写法。
2024-02-06 10:45:22
570
原创 AI绘画优秀开源项目推荐
AI绘画优秀开源项目推荐stable-diffusion-webui：基于 Gradio 库的 Stable Diffusion 浏览器界面InvokeAI：InvokeAI是稳定扩散模型的领先创意引擎，使专业人员、艺术家和爱好者能够使用最新的人工智能驱动技术生成和创建视觉媒体。该解决方案提供业界领先的web界面，支持CLI终端使用，是多种商用产品的基础。ComfyUI：最强大和模块化稳定扩散的GUI和后端。此ui将允许您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。stable-diffus
2024-02-05 16:31:56
1152
1
原创 大模型镜像打包实战:CodeGeeX2为例
写一个启动脚本bin/start.sh，判断是否启用身份验证，也可以在Dockerfile最后的CMD直接执行python脚本，查看CodeGeeX2项目，官方已经提供好启动脚本，配置好各种依赖应该就可以运行。如果有我未遇到的bug欢迎提问，一起解决问题总结在此处。访问localhost:7860查看是否成功。
2024-01-21 17:08:33
567
2
原创 快速入门Torch构建自己的网络模型
padding是在卷积之前补0，如果愿意的话，可以通过使用torch.nn.Functional.pad来补非0的内容。如果pad输入是一个tuple的话，则第一个参数表示高度上面的padding，第2个参数表示宽度上面的。6个，将下面代码添加到Sequential中完成自定义AlexNet构建。Q1: padding是卷积之后还是卷积之前还是卷积之后实现的？计算结果是6，输出通道是256，所以特征有256。Q2：padding补0的默认策略是什么？现在需要计算卷积后图像的维度，根据公式。
2024-01-16 16:39:15
352
原创 快速入门Torch读取自定义图像数据集
学习新技术当然首先要看官网了就这？？？官方提供了许多内置好的数据集，但是我需要自定义啊！！！我是谁？我在哪？我在干什么？完全不知道如何实现好吧完结撒花？我的数据集格式和ImageFolder需要的格式不一样最简单的方法当然是写个脚本整理为官方需求的格式，但是我不忘初心，说自定义就是自定义，copy99%也要自定义，而且移动数据的成本高，改改代码读取逻辑就能完成当然要改代码了献上完整自定义数据集代码还好官方上面文字说需要继承Dataset这个抽象类，实现__getitem__和__len__方法就ok了。
2024-01-16 10:05:09
557
原创 【源码分析】Object中的“鸡肋“函数
也就是说，对于任何非空引用值x和y，当且仅当x和y引用同一对象(x == y的值为true)时，此方法返回true。在合理可行的情况下，由Object类定义的hashCode方法确实为不同的对象返回不同的整数。注：理论上不同值计算hash是可以相同的，作者也解释为什么一定要hashcode方法生成结果不同：为不相等的对象生成不同的整数结果可能会提高哈希表的性能。请注意，每当覆盖hashCode方法时，通常都需要覆盖该方法，以便维护hashCode方法的一般契约，该契约规定相等的对象必须具有相等的哈希码。
2023-11-03 15:54:20
93
原创 模型评估指标
在业务上，FPR可以用来评估模型的误报率，即模型将负例错误预测为正例的情况。在一些应用场景中，如风险预警、欺诈检测等，假阴性（FN）的代价较高，我们希望尽量减少未能正确预测为正例的情况。在一些应用场景中，如量化交易预测任务，假正例（FP）的代价较高，我们希望最大限度地减少错误预测为正例的情况。因此，根据具体业务需求，需要权衡和平衡TPR和FPR，选择适合的分类模型和阈值设置，以达到业务上的最优性能。当我们关注的是模型预测为正例的样本中有多少是真正的正例时，即关注模型的预测准确性。
2023-10-25 17:55:22
107
原创 Flink日志收集到数据库/kafka
在查找资料中发现log4j2配置都是xml方式，而flink是以properties的配置方式，网上也没有properties方式配置JDBCAppender的资料。完成以上操作我们已经可以将日志写入mysql/kafka中了，但是我发现所有日志写入后，无法区分集群，任务分别是那些了，当然可以在配置中每一个配置文件写入不同的表，但是job任务如何区分呢？先看官网，这里介绍了flink conf目录下的每个配置文件的作用，这里我们针对log4j2修改，logback 这里没有涉及，可以自行查看官网配置。
2023-10-17 14:58:04
776
2
原创 隐私计算及密码学学习记录
隐私计算隐私计算(Privacy compute)是指在保护数据本身不对外泄露的前提下实现数据分析计算的技术集合。与传统数据使用方式相比，隐私计算的加密机制能够增强对于数据的保护、降低数据泄露风险。因此，包括欧盟在内的部分国家和地区将其视为“数据最小化”的一种实现方式。同时，传统数据安全手段，比如数据脱敏或匿名化处理，都要以牺牲部分数据维度为代价，导致数据信息无法有效被利用，而隐私计算则提供了另一种解决思路，保证在安全的前提下尽可能使数据价值最大化。目前主流的隐私计算技术主要分为三大方向：第一类是以
2021-12-24 18:23:54
3729
原创 这些深度学习模型不会还有人不知道吧，不会吧不会吧
这里写目录标题1 TF-IDF 文本挖掘预处理2 word2vecword2vec对比模型1、NNLM2、RNNLM1、Skip-gram模型2、CBOW模型Word2vec关键技术，优化训练速度模型复杂度和评价方法3 HMM和CRF模型1、模型概述(三大要素)2、三大假设3、三大问题4 RNNseq2seq5 RNN变换传统RNNLSTM6 注意力机制和自注意力机制(NLP应用)注意力计算规则为什么要用注意力机制attention的优缺点7 TransformerTransformer整体架构Transf
2021-11-04 11:22:56
1373
原创 Kali学习之从入门到入狱（三）
Kali学习之从入门到入狱致谢开篇1 Linux 常见目录2 Linux基础命令以及常见用法2.0 环境变量2.1 apt-get 安装2.2 ls ll 和 alias2.3 花式grep3 shell基础4 脚本应用4.1 监测进程并重启脚本5 docker基础以及靶场搭建5.1 docker基础5.2 docker靶场搭建致谢大家的催更看到了，我没想到过年那段时间抱着玩玩的心态写的文章会受到大家的喜欢。最近在准备找工作，更新的话随缘吧，等稳定下来一个月至少更新一篇。开篇相信看到这里的同学都
2021-11-04 11:00:21
4146
5
原创 语音识别实战之Kaldi安装（mac版）
检查mac是否安装brew!!!没有安装可以参考下面链接：https://blog.csdn.net/weixin_43457608/article/details/116064272Kaldi不是一个终端用户软件，没有安装包。安装Kaldi指的是编译Kaldi代码以及准备一些必要的工具和运行环境。Step 1、下载Kaldi源码git clone https://hub.fastgit.org/kaldi-asr/kaldi.gitStep 2、编译安装cd kaldicat REA.
2021-04-25 14:42:24
764
原创 Mac软件包管理神器brew安装
镜像网址(找到适合自己的版本)https://brew.idayer.com/guide/change-source/1.执行安装脚本export HOMEBREW_BREW_GIT_REMOTE="https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git"export HOMEBREW_CORE_GIT_REMOTE="https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/homebrew
2021-04-23 17:32:30
283
原创 解决方法：failed with initial frozen solve. Retrying with flexible solve
-c 即 -channel频道是Navigator和conda查找包的位置，（source）具有相同名称的包可能存在于多个通道上，如果希望从默认通道以外的其他通道安装，则指定要使用哪个通道的一种方法是使用 conda install -c channel_name package_name语法。conda install -c conda-forge 包名...
2021-04-16 18:00:38
5163
2
转载 【转】旅游推荐系统的演进
旅游推荐系统的演进前言旅游推荐系统的演进（2017年03月24日）召回策略迭代热销策略1.0推荐POI（门店）化热销策略2.0用户历史行为强相关策略基于地理位置的推荐策略协同过滤策略基于POI浏览行为的协同过滤基于用户搜索行为的协同过滤相似度改进召回策略全景视图排序策略迭代排序策略全景视图推荐系统的整体工程架构离线计算层核心数据层推荐服务层（本次主要学习推荐系统，略）应用场景层跟团游推荐筛选异地召回筛选主题标签挖掘搜索少/无结果推荐酒旅交叉推荐用户需求场景划分内容形态触达方式总结前言感谢美团技术团队文
2021-02-21 12:09:54
804
转载 Visual Studio 2013运行时卡顿（亲测有用）
https://www.cnblogs.com/gukz/p/4190009.html如果你许久未使用vs，再次新建一个工程时，有可能会遇到这种情况，鼠标点击、滚轮滑动都一卡一卡的，打开任务管理器一看，一个vs，内存占用几十M，CPU占用却几乎达到50%（我的是57%）！！！编写代码各种卡顿，完全不能忍。。。解决方法：有可能是vs的一些内部文件丢失，根据vs的提示。我在编写c++时遇到这个问题，于是去找安装镜像，解压出了SSCE40这个文件夹，里面有两个文件，如图：文件路径：J:\package.
2021-01-06 10:58:12
1970
原创 深度学习基础之逻辑回归（二）
文章参考自"吴恩达深度学习"第二单元 逻辑回归2.1 从一个二分类问题开始2.1.1 二分类问题首先我们从一个问题开始说起，这里有一个二分类问题的例子，假如你有一张图片作为输入，比如这只猫，如果识别这张图片为猫，则输出标签 1 作为结果；如果识别出不是猫，那么输出标签 0 作为结果。所以在这个二分类问题中，我们的目标就是习得一个分类器，它以图片的特征向量作为输入，然后预测输出结果????为 1 还是 0，也就是预测图片中是否有猫。2.1.2 图片的特征表示我们来看看一张图片在计算机中是如
2020-12-30 16:08:45
231
原创 深度学习基础（一）
文章参考自"吴恩达深度学习"深度学习基础第一单元 深度学习概述1.1什么是神经网络？1.1.1 从一个简单的房价预测的例子开始1.1.2 为什么是relu函数？1.1.3 加入更多特征的房价预测模型1.1.4 从房价预测到神经网络1.2 神经网络与数据结构化1.3 为什么深度学习会兴起？1.3.1 数据量的增长1.3.2 算法创新1.3.3 运算性能提升1.4 神经网络在监督学习中的应用举例1.4.1 神经网络应用于在线广告1.4.2 神经网络在语音识别方面的应用小结第一单元 深度学习概述1.1.
2020-12-30 11:23:00
301
原创 机器学习之CART树
CART树1、CART树介绍2、Cart树生成1、CART树介绍分类回归树(CART,Classification And Regression Tree)算法是一种决策树分类方法。它采用一种二分递归分割的技术，分割方法采用基于最小距离的基尼指数估计函数，将当前的样本集分为两个子样本集，使得生成的的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。其核心思想与ID3和C4.5相同，主要的不同处在于CART在每一个节点上都采用二分法，即每个节点都只能有两个子节点，最后构成的
2020-12-26 14:15:39
6772
原创 机器学习之Bagging与随机森林
随机森林1、算法介绍2、随机森林的步骤1、算法介绍随机森林就是建立很多决策树，组成一个决策树的“森林”，通过多棵树投票来进行决策。这种方法能够有效地提高对新样本的分类准确度。随机森林在以决策树为基学习器构建Bagging集成（样本的随机选取）的基础上，进一步在决策树的训练过程中引入随机属性选择。具体来说，传统决策树在选择划分属性时是在当前节点的属性集合（假设有d个属性）中选择一个最优属性；而在RF随机森林中，对基决策树的每个节点，先从该节点的属性集合中随机选择一个包含K个属性的子集，然后在从这个子集
2020-12-15 16:32:16
1213
原创 推荐系统笔记之关联规则推荐（四）
文章目录1.案例引入2.关联分析问题定义2.1二元表示2.2 项集和支持度计数2.3关联规则关联规则：购物篮分析，最早的出现是为了发现超市销售数据库中不同商品之间的关联关系。1.案例引入（1）啤酒与尿布的故事“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市。沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现。原来，美国的妇女通常在
2020-12-14 14:31:18
1131
原创 机器学习之决策树
决策树1.决策树的引入：2、决策树分类原理2.1 熵2.2 决策树的划分依据一----信息增益2.2.1 概念2.2.2 案例2.3 决策树的划分依据二----信息增益率2.3.1 概念2.3.2 案例2.3.3 为什么使用C4.5要好2.4 决策树的划分依据三 ----基尼值和基尼指数2.4.1 概念2.4.2 案例1.决策树的引入：有的同学可能在大学学习过一门课程叫《数据结构》，里面有一个重要的结构就是“树”，和现实生活中的树一样，树的主要由四部分树根、树干、树枝、树叶组成，今天的决策树也是一种树结
2020-12-11 20:54:03
330
原创 推荐系统笔记之基于模型的协同过滤（三）
基于模型的协同过滤基于矩阵分解的CF1、引入2、算法举例3、算法推导基于矩阵分解的CF这种算法的思想是这样：每个用户（user）都有自己的偏好，比如A喜欢带有小清新的、吉他伴奏的、王菲等元素（latent factor），如果一首歌（item）带有这些元素，那么就将这首歌推荐给该用户，也就是用元素去连接用户和音乐。每个人对不同的元素偏好不同，而每首歌包含的元素也不一样。我们希望能找到这样两个矩阵：1、引入用户-潜在因子矩阵Q表示不同的用户对于不用元素的偏好程度，1代表很喜欢，0代表不喜欢。比如下面
2020-12-09 16:28:18
501
原创 推荐系统笔记之基于记忆的协同过滤（二）
1.推荐算法之协同过滤算法基于记忆的协同过滤主要分为：相似统计方法得到具有相似兴趣爱好的用户基于模型的协同过滤主要分为：先用历史数据得到一个模型，在用此模型进行预测。基于模型的推荐广泛应用使用的技术包括神经网络技术、潜在语义LFM分析、贝叶斯网络聚类算法模型、分类算法模型、回归算法模型、矩阵分解模型、神经网络模型图模型、隐语义模型...
2020-12-08 21:30:08
957
3
原创 推荐系统笔记之概述（一）
推荐系统概述什么是推荐系统为什么使用推荐系统混合的推荐机制推荐方法简述基于内容的推荐系统基于关联规则的推荐系统基于协同过滤的推荐系统User-based协同过滤系统Item-based协同过滤系统基于用户模型学习的推荐系统综述什么是推荐系统想买啤酒，通过附近的便利店，通过比较几个牌子的口碑或者价格找到自己喜欢的，扫码付款。如果你很宅，你可以打开京东或天猫超市输入啤酒关键字，然后会看到一大堆关于啤酒的商品，找到喜欢的品牌下单、付款然后等待送货上门。上述都是用户在有明确需求的情况下，面对信息过载的时候所采
2020-12-07 20:39:45
273
原创 大数据之HDFS面试准备（干货！持续更新）
参考自：hadoop官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html一、前提和设计目标1、硬件错误硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。2、流式数据访问运行在HDFS上的应用和普通的应用不同.
2020-11-27 19:26:18
308
3
原创 机器学习之线性回归
线性回归模型为：y = w *x + bw:权重 b:偏值线性回归属于有监督学习：输入数据：X标签数据：yimport numpy as npimport matplotlib.pyplot as plt# 定义预测函数def model(X, theta): h = np.dot(X, theta) # theta: 参数塞塔 return h# 定义代价函数def costFunc(h, y): m = len(x) # m 表示样本点的个数
2020-11-25 18:44:52
245
1
原创 机器学习之变量选择
第七章 变量选择1、过滤法过滤法变量选择是一种与模型无关的变量选择方法，先进行变量选择得到入模变量，再进行模型训练。方差变量筛选（from sklearn.feature_selection import VarianceThreshold）'''删除所有低方差特征的特征选择器。VarianceThreshold(SelectorMixin)参数：SelectorMixin:训练集方差低于此阈值的要素将被删除。 默认设置是保留所有具有非零方差的特征，即删除所有样
2020-11-20 21:26:53
4592
1
转载 DOS命令大全（存档自用）
一、windows DOS命令概述Windows的dos命令又是Windows的CMD命令。而cmd命令又是原来MS-DOS系统保留下来。DOS来源路径与配置对应的命令资源配置在windows的环境变量中：Windows DOS命令是基于配置好的Path环境变量，对DOS命令在Path路径中依次从前至后搜寻到对应命名的可执行入口。也就是可以自行编写一些DOS程序，C、Java、Perl等等，然后配置到环境变量中，就可以有自己的私有DOS命令了。大多数默认的 DOS命令对应目标程序打多在“C:/Wi
2020-11-20 20:02:13
1311
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人