机器学习
文章平均质量分 70
两面包+芝士
主研多模态方向,包括对齐,融合,情感分析,命名实体识别,关系抽取,目标检测,图像描述等
展开
-
实现Newton方法的最小化函数(pytorch)
首先,我们要明确需求● theta是优化参数的初始值的一个向量。● f是要最小化的目标函数。该函数应将PyTorch张量作为输入,并返回一个张量。● tol是收敛容忍度。● fscale 粗略估计最佳状态下f的大小–用于收敛性测试。● maxit 在放弃之前尝试的牛顿迭代的最大数量。● max_half 一个步骤在得出该步骤未能改善目标的结论之前应该被减半的最大次数。目标。1.函数需检查初始θ是否有限,并计算目标值f0。原创 2023-04-30 23:57:42 · 1048 阅读 · 1 评论 -
深度学习之GPU显存与利用率 浅析小结
首先就一笔带过说一下GPU的重要性吧,以Pytorch为例,就是使用CUDA,cuDNN对深度学习的模型推理时执行的各种计算转换为矩阵乘法进行加速,来达到从猴年马月的运行,到现在几十成百倍的提速。至于我们爱之深恨之切的显存呢,以数据读取时GPU运行内存的变化作为参考,具体实现机制一般是通过worker进程+队列的方式,让多个worker异步地读取、预处理数据入列,然后主管训练主进程从队列的另一头取数据。如果队列满了、训练进程来不及取数据,worker进程就会阻塞住,运行内存也就不会无限制地增长了。显而原创 2022-11-02 17:50:47 · 4891 阅读 · 0 评论 -
k-means聚类算法(pyspark实现)
import sys #The sys module contains functions related to the Python interpreter and its environment.from typing import List #The typing library is a library that helps us implement type annotationsimport numpy as np #This code requires NumPyf原创 2022-05-10 11:39:39 · 656 阅读 · 0 评论 -
Pytorch中自定义(修改)的模型加载所需部分预训练模型参数并冻结
二. 这个则就复杂不少,按自己所需进行更改,比如我的,就是本模型增加了四层’dense’, ‘unary_affine’, ‘binary_affine’, ‘classifier’,通过j+=8,跳过他们的weight和bias,这个可以参考权重衰减。同时将原模型参数中’crf’部分不加载。后面了解到有一种更简单的方法:就是当你设置好你自己的模型后,如果仅想使用预训练模型相同结构处的参数,即在加载的时候将参数strict设置为False即可。该参数值默认为True,表示预训练模型的层和自己定义的网络结原创 2022-06-25 15:22:34 · 2305 阅读 · 0 评论 -
机器学习基本算法思想和步骤
文章目录一、EM算法二、 线性回归公式三、 K-means算法四、正则化五、 boosting和bagging六、 深度学习的定义,特征七、 生成式和判别式模型八、 SVM九、 SVM概念十、 BP神经网络十一、 决策树十二、 stacking十三、 特征选择十四、 异常检测18-Lecture15-XV. Anomaly Detection十五、 推荐系统Recommender Systems一、EM算法EM算法是一种迭代优化策略,由于它的计算方法中每一次迭代都分两步,其中一个为期望步(E步)原创 2021-12-30 12:00:00 · 1602 阅读 · 0 评论