机器学习
涯若
这个作者很懒,什么都没留下…
展开
-
DL&ML基础学习二
对于神经网络的解释有很多,多是从不同的视角进行阐述,包括生物学的视角、空间变换的视角、数学的角度、特征工程的角度等等。如果从生物学的角度看,神经网络是模拟人的神经元工作激励,当所受刺激信号达到一定程度之后会向下传递信号,从而完成各层的信号传递,但是梯度下降法训练可能在人脑中没有,有的是当我们为之前做出的决定或反应所极大地伤害或者说我们的利益因为决定而受损则导致我们在下一次调整决策的策略,可是实际生原创 2017-09-09 11:47:24 · 630 阅读 · 0 评论 -
DL&ML基础学习一
神经网络中常用的激活函数sigmoid,tanh等,第一次听到sigmoid函数是在逻辑回归的部分,实际从该角度看神经网络是高级的分类模型,而逻辑回归也是为了分类目标,他们可以使用相同的loss function,而神经网络则是即为灵活的模型,模型自身结构可以变化,参数设定可以变,单元之间的机制可以改变,使用的激活函数、损失函数可以变化等等。激活函数是为了引入非线性性质,进行非线性分类。sigmo原创 2017-09-09 11:19:25 · 1521 阅读 · 0 评论 -
DL&ML基础学习六
Google发表的<The Case for Learned Index Structures>论文采用神经网络取代数据库经典的索引方法例如B-Tree/Hash-Index/Bloom FIlter,论文中先是使用很native的两层前馈神经网络来学习已经排序的records数据的分布情况,而结果是比BTree索引慢了两个数量级.作者分析出了四条原因,其中有两条值得思考.一个是神经网...原创 2018-06-30 00:01:45 · 415 阅读 · 0 评论 -
windows基于anaconda安装tensorflow小结
anaconda(python=3.6)版本内置了诸多开发包,包括常用的numpy,scipy,matplot,pandas等,但是没有tensorflow。通过conda install tensorflow试了几次也不成功,之后安装网上的教程安装上了但是在pycharm中不能用。之前在ubuntu 16.04中安装过tensorflow,也是通过anaconda安装。如果在windows上通过...原创 2018-04-03 21:19:11 · 289 阅读 · 0 评论 -
tensorflow学习笔记二
batchX_placeholder = tf.placeholder(tf.float32, [batch_size, truncated_backprop_length])batchY_placeholder = tf.placeholder(tf.int32, [batch_size, truncated_backprop_length])init_state = tf.placehol...原创 2018-04-05 22:44:55 · 267 阅读 · 0 评论 -
gragh embedding相关论文小结(二)
-Net2Net:ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER -DynGEM:Deep Embedding Method for Dynamic Graphs -DepthLGP: Learning Embedding of Out-of-Sample Nodes in Dynamic Networks -Inductive Represen...原创 2018-08-15 09:25:45 · 1325 阅读 · 0 评论 -
gragh embedding相关论文小结(四)
本篇针对dynamic graph相关的论文做一个总结Time Evolution of the Importance of Nodes in dynamic NetworksDynamic Network Embedding:An Extended Approach for Skip-gram based Network Embedding************T...原创 2019-03-26 19:08:00 · 1061 阅读 · 0 评论 -
DL&ML基础学习五
CNN应用在NLP自然语言处理上面,基本原理是输入是一句话,将一句话分词,每个词表示成一个向量,作为矩阵的一行,所以一句话形成一个矩阵,这个矩阵就类似于图片的像素点矩阵作为输入。该矩阵作为CNN的输入数据。此时CNN的卷积核的特点在于其每个卷积核的宽度都和输入数据的长度相同,宽度仍然是超参。其他原理相同。CNN的优势一个是快速,他可以并行运算,而且前后不具有依赖性。他的表示效果更有效。CNN的卷积...原创 2018-01-26 00:15:50 · 707 阅读 · 0 评论 -
DL&ML基础学习四
DL&ML原创 2018-01-10 10:55:09 · 876 阅读 · 0 评论 -
TensorFlow学习笔记一
Tensorflow:一个用于计算的框架。Tensorflow架构中分为设备管理和通信层、数据操作层、图计算层、API接口层、应用层。Tensorflow使用的符号编程而不是一般的命令编程,符号式编程将计算过程抽象为计算图,计算流图可以方便的描述计算过程,所有输入节点、运算节点、输出节点均符号化处理。计算图通过建立输入节点到输出节点的传递闭包,从输入节点出发,沿着传递闭包完成数值计算和数据流动,直...原创 2018-03-28 10:02:52 · 487 阅读 · 0 评论 -
neural networks and deep learning 学习笔记
neural network and deep learning笔记原创 2017-09-12 14:04:34 · 553 阅读 · 0 评论 -
tensorflow学习笔记三
分布式tensorflow就是多台服务器参加一个tensorflow图的分布式执行,分布式我感觉就是原来在一台计算机上面运行好几个进程这些进程交互是由OS控制的,而分布式就是把这些进程放在了不同的机器上面运行,他们之间的交互是由分布式框架控制的,实际分布式的核心或者说基本点还是运行的进程。一提到分布式就会有客服端进程和服务端进程概念,TensorFlow 的分布式集群由多个服务器进程和客户端进程组...原创 2018-07-16 09:17:54 · 377 阅读 · 0 评论 -
数学知识(一)
数学知识原创 2017-12-29 21:30:53 · 882 阅读 · 0 评论 -
An overview of gradient descent optimization algorithms
《An overview of gradient descent optimization algorithms 》论文2017年发表,是一篇综述类论文,介绍了很多基于梯度下降方法的改进方法以及分布式执行的方法。其中先是介绍了三种典型的梯度下降算法:批量梯度下降、随机梯度下降和微批量梯度下降,区别在于他们的更新参数的时间点不同,计算梯度的方法相同。这是基础知识。重点在于后面。文中提出四个至今仍原创 2017-12-29 20:25:08 · 593 阅读 · 0 评论 -
DL&ML基础学习三
机器学习中泛化误差等于偏差的平方+方差+噪声。传统的机器学习方法难点在于一个是解决过拟合和欠拟合问题,另一个所有的传统机器学习方法都需要提供数据的特征,而特征需要人为定义,特征定义的好坏直接决定模型的性能。以神经网络为代表深度学习技术一大特点就在于不用事先定义特征,因为神经网络可以自己抽取特征,而且效果很好,但是仍然具有不可解释性,而且也是面临过拟合欠拟合的问题。另外统计学习学习的必须是有规律的事原创 2018-01-31 11:36:14 · 546 阅读 · 0 评论 -
graph embedding相关论文小结(三)
GNN模型拟合PageRank等ranking算法The Graph Neural Network ModelGraph Neural Network for Ranking Web PagesAdaptive Page Ranking with Neural NetworkRanking Web Pages using Machine Learning Approaches...原创 2018-10-09 21:37:27 · 886 阅读 · 3 评论