- 博客(282)
- 收藏
- 关注
RSS订阅
原创 数学、机器学习、深度学习目录
文章目录机器学习深度学习深度学习练习题机器学习1.机器学习实战(1) k-近邻算法(kNN)和决策树2.机器学习实战(2) 基于概率论的分类方法：朴素贝叶斯 python33.机器学习实战(3) Logistic回归 逻辑回归 基于python34.待更新5.机器学习实战(5) AdaBoost元算法 基于python36.机器学习实战(6) 预测数值型数据：回归7.机器学习实战(...
2019-02-10 00:10:29
927
原创 算法：树状数组
数组 counts 有该性质： counts[i] 的值是 nums[i] 右侧小于 nums[i] 的元素的数量。求数组中，值位于范围 [lower, upper] （包含 lower 和 upper）之内的 区间和的个数。区间和 S(i, j) 表示在 nums 中，位置从 i 到 j 的元素之和，包含 i 和 j (i ≤ j)。每隔一段时间，你希望能找出数字 x 的秩(小于或等于 x 的值的个数)。实现 getRankOfNumber(int x) 方法，返回小于或等于 x 的值的个数。
2024-05-21 13:18:02
174
原创 算法题：动态规划
你不小心把一个长篇文章中的空格、标点都删掉了，并且大写也弄成了小写。当然了，你有一本厚厚的词典dictionary，不过，有些词没在词典里。假设文章用sentence表示，设计一个算法，把文章断开，要求未识别的字符最少，返回未识别的字符数。给定一个布尔表达式和一个期望的布尔结果 result，布尔表达式由 0 (false)、1 (true)、& (AND)、 | (OR) 和 ^ (XOR) 符号组成。实现一个函数，算出有几种可使该表达式得出 result 值的括号方法。
2024-05-09 15:05:46
324
原创 过拟合与欠拟合
过拟合有较为明显的对比可以判断，但欠拟合却是不容易判断的。训练集效果很好，测试集效果变差，在保证训练集与测试集样本分布一致的情况下，很容易得出过拟合的结论。欠拟合不太容易通过这种直接的对比来判断。
2024-04-21 18:48:35
280
转载 二分法、梯度下降法、牛顿法求解根号
牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程 的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时线性收敛，但是可通过一些方法变成超线性收敛。这种方法可以很有效地求出根号 a的近似值：首先随便猜一个近似值 x，然后不断令 x 等于 x 和 a/x 的平均数，迭代个六七次后 x 的值就已经相当精确了。在这里，我们使用了微积分里导数，通过求出函数导数的值，从而找到函数下降的方向或者是最低点（极值点）。这种算法的原理很简单，我们仅仅是不断用 (x, f(x)) 的切线来逼近方程的根。
2024-04-20 11:57:25
58
原创 COPC评估
这个原因才是你模型缺特征，尤其是缺乏活跃用户的特征，通常活跃用户，系统 rank 为了指标，会使用很重的行为画像作为特征，很容易放大历史点击记录，更加倾向于把他们排上去，如果你高估了该用户的点击倾向，就会导致分数给的很高，但是现实用户不怎么点的现象。这个也会触发新的问题，也就是常说的离线 AUC 很高，但是线上没效果，道理都一样，你模型仅仅是把正负样本的间隔拉开了，并没有真正改善用户看到的内容和布局，才导致高分段 ctr 不见增长。如果你发现auc上升，点击率却不上升，请优先排查bug。
2024-04-17 18:35:23
548
原创 差分数组-解题
你可以假设所有人都出生于 1900 年至 2000 年（含 1900 和 2000 ）之间。如果一个人在某一年的任意时期处于生存状态，那么他应该被纳入那一年的统计中。例如，生于 1908 年、死于 1909 年的人应当被列入 1908 年和 1909 年的计数。给定 N 个人的出生年份和死亡年份，第 i 个人的出生年份为 birth[i]，死亡年份为 death[i]，实现一个方法以计算生存人数最多的年份。如果有多个年份生存人数相同且均为最大值，输出其中最小的年份。
2024-04-15 11:03:40
168
原创 先验概率和后验概率
具体来说，如果我们有一个分类任务，真实标签（对应于先验概率）可以表示为一个"one-hot"向量，例如在一个三分类问题中，某个样本真实的类别是第二类，那么它的表示可以是[0, 1, 0]。这里，"1"的位置表示这个样本属于第二类的概率是100%，而其他位置为0表示该样本属于其他类的概率是0%。交叉熵是用来衡量两个概率分布之间差异的，其核心目的在于通过最小化模型输出（后验概率）与真实标签分布（可以视作一种“目标”先验概率分布）之间的交叉熵，使模型学习到的概率分布尽可能地接近真实的概率分布。
2024-04-12 21:10:04
754
原创 Normalization
Norm介绍归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）；batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；instance
2024-04-11 15:37:14
445
原创 最长子序列问题
给你一堆n个箱子，箱子宽 wi、深 di、高 hi。箱子不能翻转，将箱子堆起来时，下面箱子的宽度、高度和深度必须大于上面的箱子。实现一种方法，搭出最高的一堆箱子。箱堆的高度为每个箱子高度的总和。子序列 是由数组派生而来的序列，删除（或不删除）数组中的元素而不改变其余元素的顺序。例如，[3,6,2,7] 是数组 [0,3,1,6,2,2,7] 的。给你一个整数数组 nums ，找到其中最长严格递增子序列的长度。输入使用数组[wi, di, hi]表示每个箱子。
2024-04-11 14:13:08
215
原创 lambdamart
这个loss就是BPR（Bayesian Personal Ranking）Loss。有的博文也会叫做PairWise Logistic Loss 损失函数。RankNet使用了sigmoid函数来转化排序概率。文档相关性相等的情况。的公式能推导出下面第二行公式。包含以下三种情况，包含了。
2024-04-09 17:56:51
921
原创 推荐系统-向量召回
Ppostazt1∗ztazt所有发生过点击行为的用户总数点击过t的用户数a是一个超参，一般在1e-3~1e-5之间。
2024-04-01 14:01:09
1017
原创 Youtube DNN：Deep Neural Networks for YouTube Recommendations
大规模的推荐场景，能够支持分布式训练和提供有效率的服务。不断更新的新物料。稀疏的用户行为，包含大量的噪声。我们已经描述了用于推荐YouTube视频的深度神经网络架构，分为两个不同的问题：召回和排序。我们的深度协同过滤模型能够有效地吸收多种信号，并通过捕获非对称的协同观看行为和防止未来信息泄漏，在现场指标上表现良好，超越了YouTube以前使用的矩阵分解方法。从分类器中保留区分性信号也是取得良好结果的关键，否则模型会过度拟合代理问题，并且无法很好地转移到首页。
2023-10-30 12:01:27
770
原创 kubectl 常用命令
pod端口映射 kubectl port-forward pod_name 6379:6379。查看pod状态 kubectl describe pods trainer-ps-0。删除已配置的资源 kubectl delete -f calico.yaml。删除pod kubectl delete pod test-pod。kubectl常用命令。
2023-06-30 15:15:11
159
原创 The POM for xxx is missing, no dependency
主要含义是指公司部分仓库的依赖不通过镜像下载。1.在setting.xml注释掉镜像部分。，xxx是公司仓库id。
2023-06-01 20:20:15
1132
1原创 torch.addcdiv 和 torch.tensor.addcdiv_
TORCH.ADDCDIVtorch.addcdiv(input, tensor1, tensor2, *, value=1, out=None) -> Tensor# input + value * tensor1 / tensor2# input, tensor1, tensor2需要是可广播的tensort = torch.randn(1, 3)t1 = torch.randn(1, 3)t2 = torch.randn(3, 1)torch.addcdiv(t, t1, t2,
2022-04-01 11:23:00
716
原创 SWA(随机权重平均)
SWA(随机权重平均)[Averaging Weights Leads to Wider Optima and Better Generalization](Averaging Weights Leads to Wider Optima and Better Generalization)随机权重平均：在优化的末期取k个优化轨迹上的checkpoints，平均他们的权重，得到最终的网络权重，这样就会使得最终的权重位于flat曲面更中心的位置，缓解权重震荡问题，获得一个更加平滑的解，相比于传统训练有更泛化
2022-03-23 17:55:57
4158
原创 parser.add_argument bool类型参数设置
ArgumentParser在传布尔类型变量时，传入参数按字符串处理，所以无论传入什么值，参数值都为True。import argparseparser = argparse.ArgumentParser()parser.add_argument("--t1", default=False, type=bool)parser.add_argument("--t2", default=False, action='store_true')args = parser.parse_args()pr
2022-03-18 19:55:48
2595
原创 How to Fine-Tune BERT for Text Classification
文章目录简介方法论微调策略进一步预训练多任务预训练实验1结果长文本处理（Dealing with long texts）选择某层的特征（Features from different layers）灾难性遗忘（Catastrophic Forgetting）逐层衰减的比率（Layer-wise Decreasing Layer Rate）实验2结果任务内数据预训练（Within-Task Further Pre-Training）领域内和交叉领域进一步预训练（In-Domain and Cross-Doma
2022-03-16 17:07:37
1189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人