机器学习
老男孩-Leo
1.时刻保持学习的姿态
2.一天不进步,就是退步!
3.专注但要有大局观(先大后小,思路为先,实验为辅),一个人一生只要做好一件事就够了!记住:凡事预则立,不预则废。
展开
-
常用激活函数(机器学习,深度学习)
(1)sigmoid函数Sigmoid函数饱和使梯度消失。当神经元的激活在接近0或1处时会饱和,在这些区域梯度几乎为0,这就会导致梯度消失,几乎就有没有信号通过神经传回上一层。Sigmoid函数的输出不是零中心的。因为如果输入神经元的数据总是正数,那么关于w的梯度在反向传播的过程中,将会要么全部是正数,要么全部是负数,这将会导致梯度下降权重更新时出现z字型的下降。(2)Tanh函数Tanh解决了Sigmoid的输出是不是零中心的问题,但仍然存在饱和问题。为了防止饱和,现在主流的做法会在激活函.原创 2020-06-17 13:57:58 · 502 阅读 · 0 评论 -
最优化算法总结(批量梯度下降【BGD】,随机梯度下降【SGD】),牛顿法,拟牛顿法)
最优化算法总结最优化方法主要有:梯度下降(批量梯度下降【BGD】,随机梯度下降【SGD】),牛顿法,拟牛顿法当目标函数是凸函数时,梯度下降每次求解是全局解,其解不保证全局最优解每次通过求导找出梯度方向(负梯度方向作为搜索方向),其越接近目标值,步长越小,前进越慢,批梯度下降每次取全量的样本进行计算梯度,然后进行参数的更新SGD相比BGD其每次随机采样一部分样本进行梯度计算,这样样本的偏差和噪声对于模型影响会比较大,但是因为每次不用取全量的样本计算梯度,所以收敛速度相比BGD提升很多梯度下降缺点原创 2020-06-17 13:43:45 · 553 阅读 · 0 评论 -
基于回归曲线拟合模型的ALS(最小二乘法)推导过程以及Python实现
概念最小二乘法(Alternative -Least-Squares)是一种迭代算法。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法可用于曲线拟合。 二乘法曲线拟合:根据给定的n个点,并不要求这条曲线精确地经过这些点,而是曲线y=f(x)的近似曲线y= φ(x)。原理给定数n个数据点p(xi,转载 2016-06-23 13:46:04 · 5139 阅读 · 0 评论 -
Python3爬取汽车目标经销商数据
Python3爬取汽车目标经销商数据本文采用Python3进行语法编写,Python3与Python2中的函数会有所不同,但是相差不大,具体的问题可以百度找到,因有朋友在做汽车方面的业务,因此需要一些网络数据进行支撑,一个个找会非常的繁琐,因此之前弄了些爬虫数据。这里进行其中一部分爬虫的代码共享。爬虫效果如下代码如下import urllib,urllib.request,jsonfrom pyq转载 2016-08-04 23:14:12 · 1614 阅读 · 0 评论 -
Naive Bayes 朴素贝叶斯(文本)分类器Java实现
算法原理推导伪代码java实现代码测试数据算法原理推导优缺点分析优点:在数据较少的情况下,仍然有效,可以处理多分类问题 缺点:对于输入数据的准备方式比较敏感 适用数据类型:标称型数据主要思想p1(x,y)表示数据点(x,y)属于类别1的概率; p2(x,y)表示数据点(x,y)属于类别2的概率; if: p1>p2 属于1...原创 2016-09-23 12:27:35 · 3887 阅读 · 0 评论 -
hive常用函数
hive常用函数1.字符串函数1.1 字符串长度函数:length1.2 字符串反转函数:reverse1.3 字符串连接函数:concat1.4 带分隔符字符串连接函数:concat_ws1.5 字符串截取函数:substr,substring1.6 字符串截取函数:substr,substring1.7 字符串转大写函数:upper,ucase1.8 字符串转小写函数:lower,lcase1...原创 2019-07-08 20:16:13 · 1011 阅读 · 0 评论