![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kaggle
文章平均质量分 69
丰。。
某top数据科学专业博士研究生,发表多篇论文,CCFA类2篇,sci2区一篇,目前担任sci2区文章审稿人,均为深度学习领域,第一作者,五次国际级获奖经历,国家级大创四项,多次省级校级获奖经历,负责多项科研项目。希望大佬们多多提携,小弟定投桃报李。
展开
-
kaggle学习笔记-情感和地理空间分析
另一方面,地理空间分析是对图像、GPS、卫星摄影和历史数据的收集、显示和操作,这些数据以地理坐标明确描述,或以街道地址、邮政编码或林分标识符隐式描述。这是展示有关情感分析、地理空间分析和时间序列分析的一些混合想法的好机会。全部:具有新功能的评论:预处理文本、实体检测、分数中的新标签以及与获取区域、x、y 和餐厅名称的餐厅的连接。报道:这些餐厅(或地区)都有独特的特色,并且很有趣地看到每个餐厅(或地区)的模式多样性。分类:确定哪些评论是好的、差的或一般,以及发生这种情况的概率是多少。标记中餐厅的普遍化。原创 2023-07-14 16:30:07 · 562 阅读 · 1 评论 -
kaggle学习笔记-餐厅数据挖掘
分析Zomato数据集的基本思想是为了公平地了解影响在班加罗尔不同地方建立不同类型餐厅的因素,每个餐厅的总评级,班加罗尔是这样一个城市,拥有超过12,000家餐厅,餐厅供应来自世界各地的菜肴。每天都有新的餐馆开业,这个行业还没有饱和,需求也在与日俱增。然而,尽管需求不断增加,新餐馆却很难与老牌餐馆竞争。大多数餐厅都供应同样的食物。班加罗尔是印度的IT之都。这里的大多数人主要依靠餐馆的食物,因为他们没有时间自己做饭。由于对餐馆的需求如此巨大,因此研究一个地方的人口统计学就变得很重要。原创 2023-07-13 21:38:09 · 1253 阅读 · 0 评论 -
kaggle学习笔记-feedback反馈奖-baseline
这使我们能够快速使用更多提取的嵌入和更多的折叠进行训练。在这个笔记本中,我们从 5 个 NLP 转换器中提取嵌入。Giba从数十个图像CNN和图像转换器中提取嵌入。这些模型是预先训练的(最有可能在ImageNet数据上),但没有经过微调(在Kaggle竞争数据上)。这些模型是预先训练的(最有可能在ImageNet数据上),但没有经过微调(在Kaggle竞争数据上)。在他的笔记本中,他提取了 1 个 NLP 转换器嵌入,并在 CPU 上训练 Sklearn 的多输出回归器 + 梯度提升回归器,具有 5 倍。原创 2023-01-19 19:17:35 · 236 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline11
一个计算购物车/订单的受欢迎程度,给定用户之前的点击/购物车/订单。一个计算给定用户以前的购物车/订单的购物车/订单的受欢迎程度。我们可以通过工程特征来改进这个模型,将它们合并到项目和用户,并训练一个重新排名模型(如 XGB)来选择我们最终的 20 个。因此,我们的任务是预测 1,671,803 个测试“用户”(即“会话”)中的每一个在未来会做什么。对于每个测试“用户”(即“会话”),我们必须预测他们在为期一周的测试期间的剩余时间内将点击、购物车和订购的内容。购物车/订单到购物车/订单的共同访问矩阵。原创 2023-01-27 21:11:25 · 113 阅读 · 0 评论 -
KNN算法
其原理是在给定的数据集中,根据某个距离度量方法,将测试数据与已知数据集中的所有数据进行距离计算,然后选取K个距离最近的数据作为测试数据的邻居,根据邻居的类别进行投票,将测试数据分类到得票最多的类别中。总之,KNN算法是一种简单而有效的分类方法,它不需要对数据进行训练,可以适用于多种数据类型和应用场景,并且可以通过调整K值或距离阈值等参数来控制算法的复杂度和性能。,KNN算法需要找到K个距离测试样本最近的训练样本,计算它们的类别,并将测试样本归入到得票最多的类别中。则取值为1,否则为0,表示邻居中属于类别。原创 2023-03-07 19:53:43 · 869 阅读 · 0 评论 -
kaggle学习笔记-HM-baseline
在最近发布的版本中,他们做了一个API突破性的更改,所以要注意:https://github.com/benfred/implicit/releases在这个笔记本中,我们使用的是最新版本,所以所有内容都与(user x item)对齐。在推荐系统中通常使用scipy稀疏矩阵,因为问题的主要核心通常被建模为包含用户和商品的矩阵,其中的值表示用户是否购买(或喜欢)商品。由于每个用户只购买产品目录的一小部分,所以这个矩阵充满了零(又名:它是稀疏的)。创建coo_matrix(用户x项)和csr矩阵(用户x项)原创 2023-01-25 16:17:17 · 89 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline10-实现拉狄克简单共访矩阵极坐标
由于一个辅助(例如,“122”)可以有许多配对伙伴,通过计算配对(“122”,配对伙伴)的出现次数,我们能否找到援助“122”最常见的配对伙伴?从候选列表中选择 40 种最常见的辅助工具,如果它们是新参加会话的,请将它们添加到测试会话的辅助工具中。下一次点击、购物车或订单可能是测试会话的最后一次辅助(或所有辅助)最常见的配对伙伴吗?在测试会话中为每种辅助工具选取 20 种最常见的辅助工具,并将它们放入候选列表中。我们能否为每个会话将辅助工具配对在一起并计算配对的次数?在拉狄克的笔记本中,配对逻辑如下。原创 2023-01-19 12:43:00 · 1072 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline9-使用事件的观测概率作为评级
同样,对于任何特定产品/辅助工具的session_carts:评级 = p(aid|carts|clicks) {这是因为观察到产品已在购物车中的实例}在此笔记本中 - 对于任何给定的项目评级 =(该点的累积分布)*(项目触发事件的次数)/(会话中特定事件的总数)例如:对于任何特定产品/辅助工具的session_clicks:评级 = p(aid|click),对于任何特定产品/辅助session_orders:评级 = p(aid|订单|购物车|点击)用户首先点击产品以获取详细信息。原创 2023-01-16 19:39:52 · 160 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline8-候选生成 + LGBM 排名器模型
我们尝试开发一个两阶段模型,其中包括候选生成模型(共同访问矩阵)和排名模型。这种做法自候选人一代以来在大型科技公司中广泛使用应该注意的是,候选生成模型应以高召回率为目标,而排名模型应以最相关的项目为目标,首先对最相关的项目进行排名。步骤一:模型训练步骤 1.1 - 加载训练数据此笔记本中的训练数据由以下逻辑提取:train_df = train_df[train_df['session']%10 == 1]训练数据的标签存储在 test_labels.parquet 中,其中包含训练和测原创 2023-01-09 14:53:46 · 2798 阅读 · 3 评论 -
kaggle学习笔记-otto-baseline7-用户/项目协同过滤集成
协调过滤算法原理说明协同过滤本文显示了基于用户的 CF 和基于项的 CF 的朴素集合。当然,在这次比赛中,用户可以被视为会话,将项目视为辅助工具。因此,我们将提取两个不同的相似性矩阵:第一个计算会话对之间的相似性,另一个计算辅助工具对之间的相似性。最终,最终模型是基于会话的 CF 和基于援助的 CF 之间的加权和的结果。鉴于大量的会话和项目,我们将计算绑定到前一周开始的与测试集相关的会话。因此,如果我们的训练集在 4 周内拆分,为了简单起见,我们认为只有最后一周可用。原创 2022-12-30 00:25:03 · 686 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline6-使用 RAPIDS TSNE 和项目矩阵分解可视化用户行为
在Kaggle的Otto推荐系统竞赛中,项目ID是匿名的。所以我们不知道每个项目 id 指的是哪个。但是,通过项目矩阵分解,我们可以将匿名项目 ID 转换为有意义的嵌入。那么类似的嵌入将是类似的项目。如果我们将嵌入投影到 2D 平面(使用 TSNE、UMAP、PCA 等)并绘制它们,我们可以看到类似项目的集群。然后一个集群可能是服装,另一个集群可能是电子产品等。使用项目嵌入的 2D 平面,我们可以绘制点和线,显示每个用户活动的进展。这使我们能够了解用户如何购物。原创 2022-12-28 21:58:35 · 287 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline5-LGBM的使用
我们现在有了预处理的数据集,一个具有基本信息的列,这意味着我们的 Ranker 唯一缺少的是…如何将各个行分组到会话中的信息。现在我们需要稍微处理一下我们的标签,并将它们合并到我们的训练集中。原创 2022-12-28 20:59:01 · 367 阅读 · 0 评论 -
kaggle学习笔记-otto-baseline4-本地CV的构建
要获得最大速度,请根据使用的 GPU 将变量DISK_PIECES设置为可能的最小数字,而不会引起内存错误。Kaggle 的 GPU 只有 16GB 内存,所以我们使用 DISK_PIECES = 4,每个都需要惊人的 3 分钟!一个计算购物车/订单的受欢迎程度,给定用户之前的点击/购物车/订单。我们将类型权重应用于此矩阵。一个计算给定用户以前的购物车/订单的购物车/订单的受欢迎程度。我们可以通过训练一个XGBoost模型来为我们选择,从而改进我们的预测。对于每个测试用户,我们生成可能的选择,即候选人。原创 2022-12-27 19:10:46 · 648 阅读 · 0 评论 -
推荐系统学习笔记-推荐系统的评估体系构建
推荐系统学习笔记原创 2022-12-21 20:45:09 · 209 阅读 · 0 评论 -
推荐系统学习笔记-推荐系统分布式离线训练
工业界需要训练大型的机器学习模型,一些广泛使用的特定的模型在规模上的两个特点:1. 参数很大,超过单个机器的容纳能力(比如大型Logistic Regression和神经网络)2. 训练数据巨大,需要分布式并行提速(大数据)这种需求下,当前类似MapReduce的框架并不能很好适合。如果每个参数都有一个时间戳,那么参数众多,时间截也众多,由于parameter server在oush和oul的时候都是range-based,那么在range里面的参数共享同一个时间戳,就可以大大降低空间复杂度。原创 2022-12-21 20:17:57 · 657 阅读 · 0 评论 -
推荐系统学习笔记-推荐系统数据流
数据流(data stream)是一组有序,有起点和终点的字节的数据序列。包括输入流和输出流。数据流最初是通信领域使用的概念,代表传输中所使用的信息的数字编码信号序列。这个概念最初在1998年由Henzinger提出,他将数据流定义为“只能以事先规定好的顺序被读取一次的数据的一个序列”。原创 2022-12-21 19:50:13 · 780 阅读 · 0 评论 -
推荐系统学习笔记-冷启动
推荐系统的主要目标是将大量的标的物推荐给可能喜欢的海量用户, 这里涉及到标的物和用户两类对象。任何互联网推荐产品, 标的物和用户都是不断增长变化的,所以一定会频繁面对新标的物和新用户, 推荐系统冷启动问题指的就是对于新注册的用户或者新入库的标的物, 该怎么给新用户推荐标的物让用户满意,怎么将新标的物分发出去,推荐给喜欢它的用户。原创 2022-12-20 21:07:35 · 1305 阅读 · 0 评论 -
推荐系统学习笔记-PNN算法
PNN网络结构在传统的DNN中增加了Product层,从而实现了特征的交叉,在具体的实现过程中,提出了两种Product的计算,分别为Inner Product和Outer Product。增加Product层,在Product Layer中,通过显式构造特征交叉,在不同的特征域之间进行特征组合,在实际的实施过程中,会有不同的product计算方法,分别为inner producr和outer product。最重要的就是Product层。Embedding层现在已经成为DNN模型处理CTR问题的标配;原创 2022-12-19 19:22:00 · 409 阅读 · 0 评论 -
推荐系统学习笔记-deep crossing
推荐系统学习笔记原创 2022-12-18 20:30:45 · 649 阅读 · 0 评论 -
推荐系统学习笔记-FNN
推荐系统学习笔记原创 2022-12-18 19:42:21 · 348 阅读 · 0 评论 -
推荐系统学习笔记-NeuralCF算法
推荐系统学习笔记原创 2022-12-18 19:34:19 · 284 阅读 · 0 评论 -
推荐系统学习笔记-AutoRec算法
推荐系统学习笔记原创 2022-12-18 19:16:37 · 395 阅读 · 0 评论 -
推荐系统学习笔记-基于图的模型
推荐系统学习笔记原创 2022-12-17 21:14:02 · 814 阅读 · 0 评论 -
推荐系统学习笔记-隐语义模型
推荐系统学习笔记原创 2022-12-17 21:07:44 · 837 阅读 · 0 评论 -
推荐系统学习笔记-基于领域的推荐算法
推荐系统学习笔记原创 2022-12-16 22:23:12 · 332 阅读 · 0 评论 -
推荐系统学习笔记--推荐系统简介
推荐系统学习笔记原创 2022-12-15 22:45:25 · 775 阅读 · 0 评论 -
推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型
推荐系统论文研读原创 2022-12-15 00:23:35 · 453 阅读 · 0 评论 -
推荐系统学习笔记-论文研读--点击率预估中特征交互的作用
推荐系统论文研读原创 2022-12-13 23:08:01 · 1332 阅读 · 0 评论 -
KAGGLE 比赛学习笔记---OTTO---baseline解读3-使用手工规则的候选重新排序模型
kaggle比赛笔记第一轮原创 2022-12-07 14:52:47 · 954 阅读 · 0 评论 -
KAGGLE 比赛学习笔记---OTTO---baseline解读1-数据解读
kaggle比赛笔记第一轮原创 2022-12-07 14:02:30 · 622 阅读 · 0 评论 -
KAGGLE比赛分享-细胞赛(一)
KAGGLE比赛1原创 2022-11-13 15:42:13 · 369 阅读 · 0 评论