kongfangyi的专栏

“现在的深度学习无非就是堆神经网络模型”这句话既对也不全对，深度学习能够取得如此大的进步在于神经网络的层数增加。但对模型并不是把别人已经做好的模型在自己的机子上跑一下，或者简单堆叠就可以了，而是要有自己的想法产生自己的改进模型。keras提供了自定义层的编程范式，但是很多书都没有介绍，可能是一般的应用用不到。另一方面效果不一定好，需要有一定的理论功底才能设计新的模型。手头刚好需要设计一个自定义层模型，现将方法记录如下。编程范式...

1、为什么要用tranformers        在NLP领域如果不使用SOTA方法，存在诸多缺点，效果难以保障：1、SOTA方法结果优，其模型是各种大牛使用数百张TPU，构造的庞大模型，各种参数得到了调优，其训练效果已经达到NLP领域的巅峰；2、泛化能力强，SOTA方法是在海量级数据集上训练产生的，所以适应范围广泛，其泛化能力很强；3、参数多，模型深度高，例如bert模型使用12层，12个多头注意力机制及768个隐藏单元，多达一亿个参数，其训练集数据多达34亿

线性模型介绍        线性回归模型是指自变量和因变量之间存在简单线性关系的模型。可以表示为：yi=β0+∑βixi y{_i} ={\beta}{_0} +{\sum{\beta}{_i}x{_i} } yi​=β0​+∑βi​xi​进一步而言如果将x0设定为1则模型可以化简表示为：yi=∑βixi y{_i} ={\sum{\beta}{_i}x{_i} } yi​=∑βi​xi​其中βi称之为系数或参数。上述模型使用矩阵表示为：Y=BXY∈R

1、原理    文本相似度的度量有很多种方法，特定词出现频度，整体文本风格等。本文将使用tf-idf方式，通过cosin相似度度量两个文本的相似度。...

1、引子    练武之人无论天资再聪明没有师傅的指点，或者武林秘籍都不可能自创一套体系，因此各种武功秘籍成了武林争夺的至宝，大家争破头皮也要挤进名门正派。对于学习自然科学及工程领域，自己如果没有团队，没有师傅耐心的带着学习。自学的东西可能非常零散，即使涉猎范围非常广泛。但是没有系统性的学习难成气候。就像学武术无师无派一样，在这种情况之下，武林秘籍就显得尤为重要了,这个武林秘...