夕小瑶科技说

文 | 王思若20年，OpenAI推出了1750亿参数量的屠榜‘杀器’GPT-3，但基于大模型至今悬而未决的伦理和社会风险以及商业盈利等因素的考量，OpenAI将GPT-3以付费API的形式向公众开放。通过调用GPT-3的API，问答、语义检索、翻译、数学推理、创作小说等诸多玩法被玩家及尽探索。最近，OpenAI推出了最新的文本生成模型：text-davinci-003。为了适配更多任务，Open...

目录前言word2vec模型负采样char-level与上下文ELMoBERT深层双向的encoding学习句子与句对关系表示简洁到过分的下游任务接口前言还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，...

目录缘起逻辑回归SigmoidSoftmax缘起逻辑回归逻辑回归模型是用于二类分类的机器学习模型（不要说逻辑回归可以做多类分类啊喂，那是二类分类器的组合策略问题，而与逻辑回归分类器本身的构造没有半毛钱关系啊）。我们知道，在逻辑回归中，用于预测样本类别的假设函数为（小夕要讲大事，忽略偏置项参数和向量转置这种细节啦）,其中sigmoid函数的图像看起来是这样的：因此，我们将...

目录： GBDT分类算法简介 GBDT二分类算法 2.1 逻辑回归的对数损失函数 2.2 GBDT二分类原理 GBDT二分类算法实例 手撕GBDT二分类算法 4.1 用Python3实现GBDT二分类算法 4.2 用sklearn实现GBDT二分类算法 GBDT分类任务常见的损失函数 总结 Refer...

前馈神经网络 在文章《逻辑回归到神经网络》（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在《一般化机器学习与神经网络》中，小夕阐述了神经网络的一般性。这一篇会完全进入神经网络的状态，阐述神经网络的特殊性。 其实在《LR到NN》中的这张简单的图，就是本文要讲的前馈神经网络（feed-forward neural network）。...

前言 首先，如果你现在已经很熟悉tf.data+estimator了，可以把文章x掉了╮(￣▽￣””)╭ 但是！如果现在还是在进行session.run(..)的话！尤其是苦恼于GPU显存都塞满了利用率却上不去的童鞋，这篇文章或许可以给你打开新世界的大门噢(￣∇￣) 如果发现经过一系列改良后训练效率大大提高了，记得回来给小夕发小红包(...

玩家你好 恭喜你捡到了一个来自上古时期的*七*星*炼*丹*炉*，只见炉壁上镶嵌着自然语言处理、推荐系统、信息检索、深度炼丹、机器学习、数学与基础算法等失传已久的江湖秘术。熔炉中虽然已有一层厚厚尘土，却依然掩盖不住尘埃下那一颗颗躁动不安的仙丹。 ps: 喂喂喂，你萌不要只收藏不点赞哇(｡ ́︿ ̀｡) 仔细看来，似见炉壁上有几个似乎在诉说什么秘密的图案，和一些...

一只小狐狸带你解锁NLP/ML/DL秘籍来源：机器之心谷歌研究员提出使用机器学习方法预测未来短时间内的天气。此方法虽然处于早期发展阶段，但效果已经优于传统模型。前言天气总是会或轻或重地影...

一只小狐狸带你解锁NLP/ML/DL秘籍正文来源：Microstrong1 LightGBM简介GBDT (Gradient Boosting Decision Tree) 是机器学习中...

一只小狐狸带你解锁炼丹术&NLP 秘籍老板，只有几百条数据没法用神经网络呀，可以批点经费标数据吗？没钱，EDA, BT, UDA了解一下喵喵喵？1 数据增强的背景和应用场景随着...