机器学习
sherpahu
这个作者很懒,什么都没留下…
展开
-
lightgbm gpu在ubuntu/linuxmint下的安装与验证的真正方法
垃圾教程太多sudo apt-get install libboost-dev下载项目https://github.com/microsoft/LightGBM解压zipcd Lightgbm-mastermkdir build ; cd buildcmake -DOpenCL_LIBRARY=/usr/local/cuda/lib64/libOpenCL.so -DOpenCL...原创 2019-12-22 16:45:22 · 559 阅读 · 1 评论 -
NLP系列 8. 循环神经网络(RNN)
RNN提出背景人的记忆原理也是与当前输入和之前的输入有关的。每个预测的结果都会放到下一个输入里进行运算,与下一次的输入一起来生成下一次的结果。听到一句话“我来找你”,是在没听到一个字或词的时候大脑都会结合之前听到的和现在听到的组合起来,形成语句的理解。下面这种网络与我们的大脑对语句的理解过程很相似。RNN定义循环神经网络,Recurrent Neural Network。神经网络是一种...原创 2019-05-26 16:46:35 · 1070 阅读 · 0 评论 -
NLP系列 6. 神经网络基础
神经网络中的基础概念前馈神经网络:前馈神经网络是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈。输入层:神经网络的第一层。它接收输入信号(值)并将其传递至下一层,但不对输入值执行任何运算。它没有自己的权重值和偏置值。隐藏层:隐藏层的神经元(节点)通过不同方式转换输入数据。一个隐藏层是一个垂直堆栈的神经元集。输...原创 2019-05-22 17:33:21 · 327 阅读 · 0 评论 -
NLP系列 4. 文本表示
词袋模型——离散、高维、稀疏分布式表示——连续、低维、稠密word2vec词向量原理及实践原创 2019-05-17 20:04:45 · 435 阅读 · 0 评论 -
NLP系列 10. BERT
Transformer的原理BERT的算法来自谷歌的另一篇论文:https://arxiv.org/abs/1706.03762 。完全抛弃了RNN、CNN,而提出了另外一种新的网络结构:Transformer。Transformer现在是谷歌云TPU推荐的参考模型。Transformer由encoder和decoder组成,encoder、decoder分别由一些编码器和解码器构成。编码器...原创 2019-05-30 19:42:16 · 212 阅读 · 0 评论 -
NLP系列 7. 卷积神经网络
卷积运算定义:卷积是两个变量在某范围内相乘后求和的结果。称(f∗g)(x)(f*g)(x)(f∗g)(x)为f,g的卷积。连续的卷积定义为:(f∗g)(n)=∫−∞+∞f(τ)g(n−τ)(f*g)(n)=\int_{-\infty}^{+\infty}f(\tau)g(n-\tau)(f∗g)(n)=∫−∞+∞f(τ)g(n−τ)离散的卷积定义为:(f∗g)(n)=∑r=−∞+∞f(...原创 2019-05-23 19:08:18 · 655 阅读 · 0 评论 -
NLP系列 9. Attention机制
Attention机制介绍之前做项目时同组大佬用到过Attention机制,Attention机制对模型能够有一定的提升作用。人在看一张图片一篇文章时,不会对所有部分都投入同样的注意力,而是有所侧重。所谓侧重就是赋予不同的权重。Attention定义Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型的效果的的机制。Attention机制...原创 2019-05-28 15:07:28 · 268 阅读 · 0 评论 -
pytorch常用函数API简析与汇总——以备查询
文章目录Tensor运算变换torch.Tensor.transpose()&torch.Tensor.permute()torch.cat() & torch.stack()torch.squeeze()&torch.unsqueeze()torch.Tensor.expand()&torch.Tensor.expand_as()torch.contiguous(...原创 2019-07-14 22:40:27 · 3830 阅读 · 2 评论 -
Keras自定义损失函数和度量显示inf解决方法
去掉自定义函数的axis=-1def rmse(y_true, y_pred): return backend.sqrt(backend.mean(backend.square(y_pred - y_true)))model_lstm.compile(optimizer="adam", loss=rmse, metrics=[rmse])原创 2019-08-23 15:07:14 · 1122 阅读 · 0 评论 -
NLP系列 1. IMDB和THUCNews数据集数据集的探索
IMDB加载数据集由keras直接加载.imdb = keras.datasets.imdb(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)遇到报错:ValueError: Object arrays cannot be loaded when allow_pic...原创 2019-05-11 20:06:52 · 797 阅读 · 0 评论 -
NLP系列 3. 特征选择——TF-IDF原理以及利用其进行特征筛选
TF-IDF原理以及利用其进行特征筛选原理TF-IDF即term frequency - inverse document frequency, 词频-逆文本频率TF词频: 容易理解, 频率高能够在一定程度上反应该词的重要性.IDF逆文本频率: 若某一个词在所有文本中都出现, 或出现的频率过高, 则也有可能是虚词这种重要性不高却频率很高的词, 此时单纯依靠词频来判断词的重要性就不可靠了. ...原创 2019-05-15 21:07:14 · 2065 阅读 · 0 评论 -
Google Colab基础使用指南
1. 数据导入google colab的数据导入主要有两种方法, 临时上传, 从Google Drive导入临时上传点击上图红色圈出的部分, 在弹出的框里面选择文件, 点击上传, 可以将本地的文件传到服务器中这种方法比较方便, 但是由于google colab的云端服务器是临时分配的, 所以在一段时间不用或者连续运行12个小时导致服务器连接断开之后, 会丢失文件从Goo...原创 2018-10-03 15:47:05 · 21612 阅读 · 5 评论 -
机器学习-线性回归
基本概念在线性模型中通过一个线性组合进行预测, 由W和b根据x得到f(x)的值即: f(x)=或者写为: f(x)= 线性回归就是为了学得w和b的值, 然后进行回归预测相关公式利用最小二乘法可以得到进一步转化:将w和b合写在一起 矩阵X在最右边添上一列1回归方程可以改写为使用方差来估计误差方差为 也可以写作 由于上式为一个凸函数(下...原创 2018-09-28 09:08:36 · 588 阅读 · 0 评论 -
机器学习-逻辑回归
基本知识Sigmoid函数逻辑回归用于二分类任务, 我们在将特征的实值转化为分类的二元离散值时, 想要的最理想的函数是单位跃迁函数即: 利用这个函数就可以通过z的值建立一个到0,1的映射, 可以用于我们的二分类任务但是, 由于这个函数不连续, 使用起来不方便我们就用Sigmoid函数进行替代即: 这个函数在0附近出现变化很剧烈, 称为逻辑函数损失函数利用...原创 2018-09-29 10:48:04 · 528 阅读 · 0 评论 -
Kaggle实战之决策树完成泰坦尼克号船员获救比赛
一、决策树的基本原理:决策树简而言之就是根据不同的分类标准(Classification criteria)对于节点类别判断的先后顺序进行选择,进而对于训练集、测试集进行分类。决策树使用树模型分类很快(相对于knn一个点一个点去算要快多了), 但是树模型也存在两个问题: 过拟合,分类标准选择过拟合树模型都存在很严重的过拟合问题, 如果树的深度不加任何限制, 最终肯定是一个叶子节点一...原创 2018-11-16 22:21:00 · 656 阅读 · 0 评论 -
Kaggle实战之集成学习进行泰坦尼克预测比赛
一、集成学习浅谈集成算法利用统计学中的采样原理训练出数量庞大的模型再利用投票原则进行预测,正所谓三个臭皮匠顶的上一个诸葛亮,许多弱学习器集成起来可以达到很好的效果。集成学习算法主要分为Bagging, Boosting, Stacking这几种, 在Kaggle竞赛中使用的十分广泛.Bagging随机有放回采样, 可以并行训练多个模型, 常用的随机森林属于Bagging的进化版...原创 2018-11-16 23:42:46 · 1012 阅读 · 0 评论 -
ubuntu深度学习环境配置踩坑记
安装Ubuntu可以参考以下链接,但是还会有后面所述很多小问题,可以不妨先看完再开始装ubuntuhttps://blog.csdn.net/flyyufenfei/article/details/79187656开机卡死、关机卡死、登陆界面卡死这个问题是有集显独显双显卡的笔记本都会碰到的问题,尤其是有英伟达显卡的情况。主要是因为ubuntu不会主动使用英伟达的闭源驱动,而使用的是核显的...原创 2019-05-03 22:36:20 · 3466 阅读 · 2 评论 -
NLP系列 2.特征提取
1. 基本文本处理技能1.1 中英文字符串处理1.1.1 删除不相关的字符去除字符串两端字符串:s=' ,,,abc,,, 'print(s.strip())# 删除两边空字符print(s.lstrip())# 删除左边空字符print(s.rstrip())# 删除右边空字符print(s.strip().strip(','))# 删除指定字符,,,abc,,,...原创 2019-05-14 20:44:59 · 1100 阅读 · 0 评论 -
NLP系列 5. 朴素贝叶斯、SVM、LDA主题模型
朴素贝叶斯贝叶斯公式概率统计中学过了贝叶斯定理的数学表示P(A∣B)=P(A)P(B∣A)P(B)P(A|B)=\frac{P(A)P(B|A)}{P(B)}P(A∣B)=P(B)P(A)P(B∣A)用一个例子来说明朴素贝叶斯里面的概念:假设现在有一个劣质酒精测试仪,会有5%的概率把没有喝酒的司机认定为醉酒,但会100%识别出醉酒的司机。比如说1000个司机里面有1个人是醉驾,但是会有...原创 2019-05-20 21:10:09 · 912 阅读 · 0 评论 -
Python机器学习之旅-1.聚类_KMeans
k-means是针对聚类所得簇划分的最小化平方误差采用的是贪心的策略(最小化式不容易解决,属于NP难问题),主要分三步进行1.初始化,随机分配簇的中心2.反复迭代计算簇中心3.等到为簇中心分配的数据点保持不变之后,得到簇中心以下通过一个简单的算法实例来进行说明(原本例子来源于中国大学MOOC-北京理工大学-Python机器学习应用,其中样本集由本人经百度文库下载得到,对于MOOC中的代码也有略微改...原创 2018-07-13 23:44:57 · 940 阅读 · 1 评论