- 博客(10)
- 收藏
- 关注
RSS订阅原创 Failed to install Homebrew Portable Ruby (and your system version is too old)
解决方案：rm -rf /Users/*/Library/Caches/Homebrew/portable-ruby-2.6.3_2.yosemite.bottle.tar.gz然后按照网上国内镜像安装方式即可
2021-01-11 16:50:00
7325
1
原创 零基础入门NLP-新闻文本分类
1、TransformerTransformer是一种新的编码器-解码器架构，它仅使用注意力机制而不是RNN来编码每个位置，并关联有关其自身的输入和输出的两个远端单词，然后可以并行化处理，因而加快训练。2、Attention 模仿人类视觉注意力机制，学习出一个对图像特征的权重分布，再把这个权重分布施加在原来的特征上，为后面任务如图像分类、图像识别等提供不同的特征影响，使得任务主要关注一些重点特征，忽略不重要特征，提高任务效率。 1、给定一组向量集合values，以及...
2020-08-04 23:57:11
780
原创 零基础入门NLP-新闻文本分类
1、TextCnnTextCNN中采用的是一维卷积，每个卷积核的大小为\(h \times k\)(h为卷积核的窗口大小，k为词向量的维度)，文中采用了多种不同尺寸的卷积核，用以提取不同文本长度的特征(上图种可以看见，卷积核有h=2, 3, 4三种)1.1详细过程原理图1.2 参数Embedding方式、卷积核大小、卷积核个数、激活函数、Dropout、L2正则2、TextRnnTextRNN将Word Embedding输入到双向LSTM中，然后对最后一位的输出输入..
2020-07-31 22:37:55
259
原创 零基础入门NLP-新闻文本分类
1、fasttext主要参数lr：学习率dim: 隐藏层词向量维数ws: 背景词窗口大小minCount: 最小词频wordNgrams: n-gram最大长度loss: 损失函数2、fasttext实验主要代码import fasttextimport pandas as pdfrom sklearn.model_selection import train_test_splittrain_df = pd.read_csv('./train_set.csv', s.
2020-07-27 23:19:20
148
原创 零基础入门NLP-新闻文本分类
TF-IDF 分数由两部分组成：第一部分是词语频率（Term Frequency），第二部分是逆文档频率（Inverse Document Frequency）。其中计算语料库中文档总数除以含有该词语的文档数量，然后再取对数就是逆文档频率。TF(t)= 该词语在当前文档出现的次数 / 当前文档中词语的总数IDF(t)= log_e（文档总数 / 出现该词语的文档总数）1、TF-IDF主要参数norm：'l1', 'l2', or None,optional 范数用于标准化词条向量。..
2020-07-25 22:52:02
119
原创 梯度消失、梯度爆炸|卷积神经网络
梯度消失、梯度爆炸1、梯度不稳定问题：什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸2、解释梯度消失 又叫 梯度弥散。根据链式法则，如果每一层神经元的权重与上一层传递过来的残差之积都小于1，这样经过足够多层传递之后，残...
2020-02-18 22:17:56
1973
原创 XGB算法梳理
1、算法原理 算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。2、损失函数 回归问题常用损失函数损失函...
2019-08-15 20:34:18
381
原创 LightGBM算法梳理
1、LightGBM LightGBM是基于Boosting思想的分布式算法，基学习器为CART决策树。2、LightGBM的起源 2.1 传统的特征并行算法不能有效地加速特征选择的效率，当数据量很大时，该并行方法不能加快效率。并且，最优的分裂结果需要在worker之间进行传输，需要消耗很多的传输资源以及传输时间。 2.2 传统的数据并行算法网络传输代价...
2019-08-15 19:43:32
938
原创 高级算法 GBDT算法梳理
1、前向分布算法 统计学习方法 （假设为树模型）b(x;y)为基函数，使上棵树的预测值与真实值损失函数最小时得到的系数β和γ，其中γ是基函数中特征的权重向量，β为当前树的权重，向前累加基函数，得到当前模型的函数f(x)，依次训练直到m的预设值。2、负梯度拟合 用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。 ...
2019-08-09 21:03:54
275
原创 高级算法 基础概念梳理
1、集成学习 集成方法是将几种机器学习技术组合成一个预测模型的元算法，以达到减小方差、偏差或改进预测的效果，通过弱学习器组合成强学习器。 序列集成方法：AdaBoost，GBDT，模型之间强依赖 并行集成方法：随机森林，模型之间无依赖2、个体学习器 个体学习器集成学习的单元学习器，是集成学习的基础学习器。3、boosting的概念...
2019-08-07 20:48:11
401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人