机器学习
文章平均质量分 84
致Great
为将之道,当先治心
展开
-
从零搭建机器学习平台Kubeflow
来自官网的一段介绍: Kubeflow 项目致力于使机器学习 (ML) 工作流在 Kubernetes 上的部署变得简单、可移植和可扩展。Kubeflow的目标不是重新创建其他服务,而是提供一种直接的方法,将用于 ML 的同类最佳开源系统部署到不同的基础设施中。在任何运行 Kubernetes 的地方,开发者都应该能够运行 Kubeflow。从官网这段介绍可以看出,Kubeflow与Kubernetes是形影不离的。原创 2022-12-25 03:59:33 · 9156 阅读 · 5 评论 -
PyTorch/Tensorflow设置随机种子 ,保证结果复现
Pytorch随机种子设置import numpy as npimport randomimport osimport torchdef seed_torch(seed=1029): random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) to原创 2021-12-21 20:14:28 · 2907 阅读 · 3 评论 -
机器学习 Fbeta-Measure 指标详解
F1-Score,F2-Score详解原创 2021-12-18 16:16:27 · 1507 阅读 · 0 评论 -
字节跳动安全Ai挑战赛-小样本赛道方案总结
1 赛题描述在真实的社交网络中,存在的作弊用户会影响社交网络平台。在真实场景中,会受到多方面的约束,我们仅能获取到少部分的作弊样本和一部分正常用户样本,现需利用已有的少量带标签的样本,去挖掘大量未知样本中的剩余作弊样本。给定一段时间内的样本,其中包含少量作弊样本,部分正常样本以及标签未知的样本。参赛者应该利用这段时间内已有的数据,提出自己的解决方案,以预测标签未知的样本是否为作弊样本。数据处理方法和算法不限,但是参赛者需要综合考虑算法的效果和复杂度,从而构建合理的解决方案。2 题目思路基于给定的少原创 2021-12-07 22:17:32 · 3892 阅读 · 0 评论 -
Linear-chain CRF的推导
1 前言在推导线性链CRF之前,我们先看一个词性标注(POS)的例子在我们想要标注book这个词的时候,是将其标注成名词noun或者动词verb是需要取决于当前词的前一个词的。在这种情境下,前一个词‘a’的词性一个限定词(determiner),所以我们选择将book标注成noun(名词)。对于这样的序列标记任务,以及更一般的结构化预测任务,Linear-chain CRF对标签之间的上下文依赖关系建模是有帮助的。2 什么是结构化预测?相信很多人对文本分类问题都比较熟悉,它的目标定义很简单,将一个原创 2021-08-29 14:47:05 · 279 阅读 · 0 评论 -
机器学习(十九)EM:期望最大算法
致GreatChallengeHub1 EM算法简介最大期望算法(Expectation Maximization Algorithm,又译期望最大化算法),是一种迭代算法,用于含有隐变量(hidden variable)的概率参数模型的最大似然估计或极大后验概率估计。在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐藏变量(Latent Variable)。最大期望经常用在机器学习...原创 2021-02-27 23:36:36 · 661 阅读 · 0 评论 -
机器学习(十八)极大似然估计
原创致GreatChallengeHub2019-06-17 16:14:53手机阅读收录于话题#机器学习课程14个1 极大似然估计简介极大似然估计是在总体类型已知条件下使用的一种参数估计方法 。它首先是由德国数学家高斯在1821年提出的,然而,这个方法常归功于英国统计学家费希尔.费希尔在1922年重新发现了这一方法,并首先研究了这种方法的一些性质 。极大似然估计的思想是:选取这样的θ̂,使得当它作为未知参数θ的估计时,观察结果出现的可能性(概率)...原创 2021-02-27 23:28:05 · 527 阅读 · 0 评论 -
FACEBOOK 时间序列预测算法 PROPHET 的研究
转载 zr9558ChallengeHubProphet 简介Facebook 去年开源了一个时间序列预测的算法,叫做fbprophet,它的官方网址与基本介绍来自于以下几个网站: Github:https://github.com/facebook/prophet 官方网址:https://facebook.github.io/prophet/ 论文名字与网址:Forecasting at scale,https://peerj.com/preprints/3190...原创 2021-02-27 23:24:43 · 1378 阅读 · 0 评论 -
Pytext实战-构建一个文本分类器有多快
1 数据集准备 数据集数据集包括两个文件:train.tsv和test.tsv,内容是从网上搜集的情感文本数据,简单地经过分词后用空格拼接起来。训练集和测试集各有10000条数据 2 构建文本分类器Pytext框架包括了Task, Trainer, Model, DataHandler, Exporter 组件,分别对应了任务切换、模型训练、模型结构、数据处理、模型导...原创 2018-12-22 22:38:00 · 1321 阅读 · 0 评论 -
机器学习-范数正则化:L1正则,L2正则
1 拟合形象的说,拟合就是把平面上一系列的点,用一条光滑的曲线连接起来。因为这条曲线有无数种可能,从而有各种拟合方法。拟合的曲线一般可以用函数表示,根据这个函数的不同有不同的拟合名字。2 过拟合上学考试的时候,有的人采取题海战术,把每个题目都背下来。但是题目稍微一变,他就不会做了。因为他非常复杂的记住了每道题的做法,而没有抽象出通用的规则。所以过拟...原创 2018-05-25 16:03:00 · 1169 阅读 · 0 评论 -
深度学习实战-使用Kera预测人物年龄
问题描述我们的任务是从一个人的面部特征来预测他的年龄(用“Young”“Middle ”“Old”表示),我们训练的数据集大约有19906多张照片及其每张图片对应的年龄(全是阿三的头像。。。),测试集有6636张图片,首先我们加载数据集,然后我们通过深度学习框架Keras建立、编译、训练模型,预测出6636张人物头像对应的年龄引入所需要模块import osimport randomim原创 2017-08-31 10:04:01 · 3534 阅读 · 9 评论 -
通过递归的矩阵向量空间预测组合语义
Semantic Compositionality Through Recursive Matrix-Vector Spaces摘要单字矢量空间模型已经在学习词汇信息方面非常成功。但是,它们无法捕捉到更长的短语的位置意义,这样就阻碍了它们对语言的深入理解。我们介绍一种递归神经网络(RNN)模型,该模型学习任意句法类型和长度的短语和句子的组合向量表示。我们的模型为解析树中的每个节点分配向量和矩阵原创 2017-08-31 10:04:07 · 1056 阅读 · 0 评论