- 博客(135)
- 收藏
- 关注
RSS订阅原创 【小贪】深度学习常用Pytorch, Numpy对比及常用语法
Torch的tensor可以在GPU上加速运算，Numpy的ndarray只能在CPU上加速运算。numpy API导包与相互转化。
2024-07-09 17:23:51
914
原创 【小贪】程序员必备：Shell、Git、Vim常用命令
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
2024-07-08 10:04:41
813
原创 【小贪】项目实战——Zero-shot根据文字提示分割出图片目标掩码
给定RGB视频或图片，目标是分割出图像中的指定目标掩码。我们需要复现两个Zero-shot的开源项目，分别为IDEA研究院的GroundingDINO和Facebook的SAM。首先使用目标检测方法GroundingDINO，输入想检测目标的文字提示，可以获得目标的anchor box。将上一步获得的box信息作为SAM的提示，分割出目标mask。具体效果如下（测试数据来自VolumeDeform数据集）：其中GroundingDINO根据的文字输入计算的box信息为：。项目实测下来单张图片的预测速度Gro
2024-07-01 19:32:09
960
原创 【小贪】大数据处理：Pyspark, Pandas对比及常用语法
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
2024-04-16 16:18:27
659
1
原创 【小贪】数据库常用：MySQL, HQL, Spark SQL对比及常用语法
近期致力于总结科研或者工作中用到的主要技术栈，从技术原理到常用语法，这次查缺补漏当作我的小百科。以下整理错误或者缺少的部分欢迎指正！！！
2024-04-08 16:28:53
761
原创 【小贪】万字长文介绍因果推断和增益模型
本文首先从一个实例出发阐述了因果性不等于相关性，进而引出因果推断和增益模型。然后简单介绍了因果推断的基础内容，并介绍了主要的三类增益模型：元学习、增益直接建模、表示学习，每一类模型都简要介绍了其经典模型。之后介绍了增益模型的评价指标，包括uplift bins、uplift curve和qini曲线。增益模型实际上是一大类模型框架，本质上可以用传统响应模型或其他机器学习模型嵌入增益模型的框架，但是预测结果并不是一个概率，模型评价方式也有变化。训练样本收集增益模型建模强依赖于ab实验，数据要求很高。
2024-03-31 21:21:28
1288
原创 【小贪】Python实现传统2D/3D配准——SIFT/SURF/ BRISK/ORB/AKAZE/ICP
【代码】【小贪】Python实现传统2D/3D配准——SIFT/SURF/ BRISK/ORB/AKAZE/ICP。
2024-03-24 15:40:45
744
原创 【小贪】迁移学习、预训练和微调
BERT和GPT等基于Transformer的模型通过在上游大数据上预训练和下游任务上微调的形式已经成为大数据时代的重要的技术范式之一。
2024-03-14 15:33:08
446
原创 算法工程师面试八股（搜广推方向）
文章目录机器学习线性和逻辑回归模型逻辑回归二分类和多分类的损失函数二分类为什么用交叉熵损失而不用MSE损失？偏差与方差Layer Normalization 和 Batch NormalizationSVM数据不均衡特征选择排序模型树模型进行特征工程的原因GBDTLR和GBDTRF和GBDTXGBoost二阶泰勒展开优势为什么快防止过拟合处理缺失值树停止生长条件处理不平衡数据树剪枝选择最佳分裂点Scalable性特征重要性调参步骤过拟合解决方案对缺失值不敏感XGBoost和RF单棵树哪个更深？XGBoost
2023-12-02 22:14:53
4886
原创 Pycharm本地显示远程服务器绘图程序 (这种忙一天却一无所获的感觉真是让人着迷)
Pycharm本地显示远程服务器绘图程序Open3d本地绘图显示
2022-10-09 10:38:04
3041
1
原创 三维重建经典算法：ICP、ARAP、Marching Cubes、TSDF
三维重建经典算法简介：ICP、ARAP、Marching Cubes、TSDF
2022-10-02 16:41:33
2238
原创 AutoGluon学习笔记
Autogluon学习笔记Autogluon在合理的计算开销下得到模型效果还不错。虽然可以做特征自动抽取，但是加入一些人工数据预处理可以提升效果。比较大的数据集需要使用gpu或者多台机器进行分布式训练。
2022-08-23 14:35:54
1069
原创 推荐系统学习笔记目录
根据b站视频推荐系统算法基础+综合项目实战（大牛老师主讲）整理的学习笔记推荐系统学习笔记目录推荐系统介绍推荐算法HadoopHive & HBaseSpark coreSpark SQL & Spark streaming推荐系统案例...
2022-01-20 12:50:59
1440
原创 python安装dlib包问题汇总
最近项目需要使用dlib包，这是CV常用包之一，直接使用pip install dlib会报以下的错误： subprocess.CalledProcessError: Command '['cmake', 'C:\\Users\\lenovo\\AppData\\Local\\Temp\\pip-install-_u7dilh3\\dlib\\tools\\python', '-DCMAKE_LIBRARY_OUTPUT_DIRECTORY=C:\\Users\\lenovo\\AppData\\Lo
2021-08-30 21:47:02
762
原创 【PyTorch学习笔记】9.自定义数据集
文章目录.自定义数据集根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲.自定义数据集Load dataInherit from torch.utils.data.Dataset__len____getitem__Build modelTrain and TestTranfer Learning...
2021-08-19 15:08:49
623
原创 【PyTorch学习笔记】7.自编码器
文章目录47.Auto-Encoder介绍48.Auto-Encoder变种49.Variational Auto-Encoder引入50.变分自编码器VAE51.实战51.1AE51.2VAE根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲47.Auto-Encoder介绍Supervised LearningUnsupervised LearningReinforcement Lear
2021-08-18 21:20:01
1104
原创 【数据分析之Matplotlib】基本图形绘制实例
文章目录1.基本绘制2.subplot使用3.散点图4.样式与图例5.柱状图6.饼状图7.直方图8.等高线图9.三维图形2020年5月28日学习了b站 Matplotlib的简单教程，笔记记录于此1.基本绘制import matplotlib.pyplot as plt# 准备x yx = range(-100, 100) # 200个点y = [i**2 for i in x]# 绘制一元二次方程曲线plt.plot(x, y, linewidth=5)plt.xlabel('
2021-08-17 21:35:48
549
原创 【数据分析之Numpy】数据基本操作
文章目录1.创建数组2.创建随机数3.其他方式创建数组4.数组维度变换5.数组拼接6.数组分隔7.数组转置8.函数2020年5月27日学习了b站Numpy的简单教程，笔记记录于此1.创建数组import numpy as np# 使用array函数创建一维数组a = np.array([1,2,3])print(type(a)) # <class 'numpy.ndarray'># 使用array函数创建三维数组c = np.array([[[1,2,3],[4,5,6]]
2021-08-17 18:19:31
396
原创 OpenCV人脸识别实例
文章目录1.图片基本处理2.图片和视频人脸检测3.训练数据和人脸识别2020年5月29日学习了b站人脸识别的简单教程，笔记记录于此1.图片基本处理import cv2 as cv# 读取图片，路径中不能有中文img = cv.imread('img.jpg')# 显示图片cv.imshow('BGR_img', img)# 修改图片尺寸resize_img = cv.resize(img, dsize=(210, 210))print('原来图片的尺寸', img.shape, '\
2021-08-17 16:22:55
1036
原创 【PyTorch学习笔记】8.对抗生成网络
文章目录47.根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲47.
2021-08-13 20:53:12
706
1
原创 【PyTorch学习笔记】6.循环神经网络
文章目录40.时间序列表示根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲40.时间序列表示
2021-08-12 19:30:24
640
3
原创 【Pytorch学习笔记】5.卷积神经网络
文章目录根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！(好课推荐)深度学习与PyTorch入门实战——主讲人龙良曲
2021-08-11 17:29:51
674
原创 【Pytorch学习笔记】2.Pytoch基础
文章目录4.基本数据类型4.1 All is about Tensor4.2 How to denote string4.3 Data type4.4 Type check4.5 Dimension / rank4.6 Mixed5.创建Tensor5.1 Import from numpy5.2 Import from List5.3 uninitialized5.4 set default type5.5 rand / rand_like, randint, randn5.6 full5.7 arran
2021-08-11 17:23:04
1172
原创 【Pytorch学习笔记】4.深度学习策略
文章目录25.过拟合&欠拟合根据龙良曲Pytorch学习视频整理，视频链接：【计算机-AI】PyTorch学这个就够了！25.过拟合&欠拟合
2021-08-11 11:01:13
515
原创 【Pytorch学习笔记】3.深度学习基础
13.梯度导数 derivative偏微分 partial derivate梯度 gradient（向量）How to search for minima?θt+1=θt−αt▽f(θt)\theta_{t+1}=\theta_t-\alpha_t\triangledown f(\theta_t)θt+1=θt−αt▽f(θt)Optimizer performanceinitialization status 何恺明初始化方法learning rate （learnin
2021-08-10 17:20:59
1279
原创 《流畅的Python》笔记（未完不续了）
文章目录1.Python数据模型1.1一摞Python风格的纸牌1.2如何使用特殊方法2.序列构成的数组2.1内置序列类型概览1.Python数据模型1.1一摞Python风格的纸牌collections.namedtuple构建只有少数属性但没有方法的对象random.choice随机函数1.2如何使用特殊方法特殊方法是为了被Python解释器调用，一般自己不需要调用，除了经常使用__init__方法，目的是在子类的__init__方法中调用超类的构造器。complex类可以表示二维向量，c
2021-08-03 10:57:11
180
原创 【Pytorch学习笔记】1.Pytoch概述
cmd查看CUDA版本信息: nvcc -Vpython查看torch和cuda信息:import torchprint(torch.__version__)print('gpu:', torch.cuda.is_available())Linear RegressionLogistic Regressionnumpy.genfromtxt(file_name)Pytorch基本数据类型数据位置对数据类型的影响：标量的表示：标量的shape：张量的表示：维度：
2021-08-02 21:35:26
356
原创 Pytorch和CUDA10.2环境配置
近期开始学习pytorch，又是一顿配置环境的瞎折腾，我电脑上的CUDA原来版本是9.x的，现在好多新算法的要求是10.0以上，就覆盖安装了10.2版本的CUDA。参考资料：windows系统查看CUDA版本号深度学习环境搭建（GPU）CUDA安装（完全版）tensorflow各个版本的CUDA以及Cudnn版本对应关系CUDA10.2安装文件：提取码：daks检查安装CUDA10.2是否正确nvcc -V：显示CUDA信息则安装成功，然而我在测试cuda的gpu是否可用的时候，却显示错
2021-07-31 21:24:19
2714
原创 Python并行运行两种方式：1.Multiprocessing多进程库 2.Shell脚本运行
工作时需要跑六十万条数据，老大说python实现并行有两种方式，一种是使用多进程库，一种是利用Shell脚本并行。写了两个小demo：Multiprocess多进程import timeimport osimport multiprocessingfrom multiprocessing import Pooldef run(k): # print(k, multiprocessing.current_process().name) # 打印当前进程名称 # time.sle
2021-07-30 17:37:53
3772
原创 NLTK避免缩略词导致分句错误
参考：How to avoid NLTK’s sentence tokenizer splitting on abbreviations?NLTK自带的nltk.tokenize库可以实现英文分句，但是当句子中存在缩写词时分句会错误：from nltk.tokenize import sent_tokenizesens = sent_tokenize('Fig. 2 shows a U.S.A. map.Look!')print(sens)"""输出：['Fig.', '2 shows a
2021-07-27 17:45:31
445
原创 【Mongo Database学习笔记】
文章目录1.mongodb简介2.基本操作3.CRUD3.1插入文档3.2查询文档3.3修改文档3.4删除文档4.文档之间的关系5.Pyhton连接Mongo应用实例工作需要学习了MongoDB入门教程，学习视频链接：MongoDB数据库教程-尚硅谷可参考笔记：了解非关系型数据库 NoSQL - MongoDB | 安装使用以及 CRUD 操作1.mongodb简介在MongoDB中数据库database表示一个数据库，集合collection相当于关系型数据库的表，文档document相当于关系型
2021-07-27 14:12:49
334
原创 算法笔记整理
名词介绍top1错误率，top5正确率：top1： 预测的label取最后概率向量里最大的那一个作为预测结果 ，如过预测结果中概率最大的那个分类正确，则预测正确，否则预测错误top5：最后概率向量最大的前五名中，只要出现了正确概率即为预测正确，否则预测错误机器学习Machine LearningKNN算法：机器学习之KNN（k近邻）算法详解决策树：机器学习实战（三）——决策树TF-IDF算法：TF-IDF算法介绍及实现自然语言处理NLPN-gram模型：自然语言处理NLP中的N-
2021-07-22 17:50:05
196
原创 Linux笔记目录
Linux学习笔记 序号 笔记 说明 1-4 Linux常用命令 \ 5 文本编辑器 Vim \ 10 Shell基础 \ 11 Shell编程 \ 参考资料：史上最牛的Linux视频教程——兄弟连从零开始学习Linux笔记Linux听课笔记...
2021-07-19 22:47:52
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人