自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 自然语言处理中的Attention原理和作用

目前NLP三个大的进展,一个是分布式表示(词向量),第二个是 LSTM(GRU),第三个就是attetion,这些技术在原来的基础上大大提升了nlp各项基础任务。 attetion究竟是什么呢。假设循环神经网络,每个时刻的输出h1,h2, . . . ,hn attetion其实就是,循环神经网...

2019-06-04 17:12:14 216 0

原创 各种神经网络优化算法:从梯度下降,随机梯度下架,批量随机梯度下架,Adagrad,AdaDelta,Adam

1一阶优化算法 这种算法使用各参数的梯度值来最小化或最大化损失函数E(x),从而找到最合适的矩阵权重θ。最常用的一阶优化算法是梯度下降。 2 二阶优化算法 二阶优化算法使用了二阶导数(也叫做Hessian方法)来最小化或最大化损失函数。由于二阶导数的计算成本很高,所以这种方法并没有广...

2019-05-29 14:48:37 305 0

原创 熵,信息熵,最大熵,交叉熵,交叉熵,损失函数,随机熵,vc熵的区别和联系

1 熵的定义起源于物理学领域。热力学中表征物质状态的参量之一,用符号S表示,其物理意义是体系混乱程度的度量,简单的可以表述为,在一个孤立系统中,熵总是增大,朝无序的方向发展。 2 在信息论中,熵是信息熵,熵代表了信息量,系统状态越少,熵越少。系统越复杂,熵越大,定义如下, H(x) = E[...

2019-05-23 16:58:02 563 0

原创 集成学习思想总结-bagging,boosting,stacking

基本理论 Bagging(套袋法) bagging的算法过程如下: 从原始样本集中使用Bootstraping方法随机抽取n个训练样本,共进行k轮抽取,得到k个训练集。(k个训练集之间相互独立,元素可以有重复) 对于k个训练集,我们训练k个模型(这k个模型可以根据具体问题而定,比如决策...

2019-01-30 18:29:57 224 0

原创 美团机器学习实践-特征选择总结

最近在看美团机器学习实践,看到特征工程,特征选择方法一部分觉得写的很好,总结一下。   特征选择主要目的就是,选择合适的特征,这样对于节省计算,模型最后的效果都有很大的好处,主要有下面三种类型。 1 过滤方法,就是直接统计特征和最后结果直接的相关性,留下相关性比较大的,这种方法和模型没有关系...

2019-01-29 16:26:01 241 0

原创 准确率,错误率 精准率 召回率,ROC,AUC 的区别和联系

网上对于每个定义分别讲述的很深,但是很少又把他们联系起来的。 首先,所有的定义均来自下面的图,一定要理解好。   1  精准率和召回率,通常用在搜索的评价场合。     精准率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有搜索出来的(TP+FP)     召回率表示:应该被搜...

2019-01-28 16:26:31 1706 0

原创 二维码跳转公众号,小程序的流程和方式总结。

工作和开发中常常碰到,需要生成一个二维码跳转到特定公众号和小程序的地方。而且特别容易混淆,下面总结和梳理一下。   二维码跳转公众号。 通过  https://open.weixin.qq.com/connect/oauth2/authorize?appid=[appid]&...

2018-12-06 21:12:43 2757 0

原创 哥德尔证明的通俗理解。

首先哥德尔构建了一个形式系统PM,在这个系统中加法和乘法和自然数都有具体的符号表示。   其次采用了一种映射编码表明在PM系统中,所有符号,定理,证明对应一个唯一的哥德尔数是可能的,反过来也成立。一个唯一的哥德尔数对应了PM系统中唯一的符号序列, 通过这种方式,元数学也可以被映射到PM系统本身...

2018-11-16 16:03:18 293 0

原创 logback日志分隔不起作用,配置文件不起作用。

     公司logback做日志分隔但是,奇怪怎么也不生效。现象就是配置logback.xml不起作用。生成的log一直是0,控制台输出正常。但是日志文件一直是空,控制台输出找不到日志实现类。最后最终解决了,总结如下。 首先看是否和log4j冲突。如果和log4j冲突,就会不起作用。参考。 h...

2018-10-29 20:58:28 1235 0

原创 python 对于任意数据和曲线进行拟合并求出函数表达式的三种方案。

第一种是进行多项式拟合,数学上可以证明,任意函数都可以表示为多项式形式。具体示例如下。 ###拟合年龄 import numpy as np import matplotlib.pyplot as plt   #定义x、y散点坐标 x = [10,20,30,40,50,60,70,80] x ...

2018-10-16 15:59:06 65563 6

原创 SVM 直观和通俗理解。

最近研究SVM 结合了多篇文章,总结如下。      SVM 本质是一个支持向量的最大间隔分类器。之前的线型分类器,一般是定义所有的点到分类直线距离总和最大。而SVM本质是支持向量距离和最大,这样就排除异常点的影响,计算量也比较小。 https://blog.csdn.net/shuimant...

2018-09-13 14:15:34 370 0

原创 强化学习-通俗理解。

最近在学习强化学习,看了一些文章和课程,总结如下。   强化学习的定义。         假定一个智能体(agent),在一个未知的环境中(当前状态state),采取了一个行动(action),然后收获了一个回报(return),并进入了下一个状态。最终目的是求解一个策略让 agent的回报...

2018-08-02 15:10:40 958 0

原创 大数定理和中心极限定理的通俗理解。

一直觉得大数定理和中心极限定理很神秘,很模糊。这次下决心来搞一个彻底清楚,研究一下。先介绍一下大数定理。网上查了一下由下面几个版本。切比雪夫大数定律:用统计方法来估计期望的理论依据。E(X)≈1n∑nk=1xk 直观含义很简单,就是,求平均。举个例子来说,加入班上由 80个同学,那么随机选一个同学...

2018-06-20 14:32:46 16036 0

原创 阿里云 centos 5 老版本 yum /repomd.xml: [Errno 14] HTTP Error 404: Not Found

太老的版本,很多源 163 搜狐 阿里云的镜像都被删除了,所以使用yum的时候就用不了了,报404 错误。找到了下面一种方法。 http://www.javatang.com/archives/2017/09/04/13261799.html 替换成centos-vault的源就可以了...

2018-01-28 21:07:09 1815 0

原创 mac 安装 tensorflow 提示 Could not find a version that satisfies the requirement

使用下面的命令可以解决。但是要选择合适的平台和版本。所有平台和版本请查看 https://storage.googleapis.com/tensorflow/里面就有。 pip install https://storage.googleapis.com/tensorflow/mac...

2017-11-16 11:32:32 4995 0

转载 深度学习和自然语言处理的应用和脉络4-隐语义模型SVD,PLSA,LDA,LFM-推荐系统

隐语义模型LFM和LSI,LDA,Topic Model其实都属于隐含语义分析技术,是一类概念,他们在本质上是相通的,都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的,近些年它们也被不断应用到其他领域中,并得到了不错的应用效果。比如,在推荐系统中它能够基于用户的行为对item进...

2017-10-11 10:48:32 685 0

转载 深度学习和自然语言处理的应用和脉络3-nlp的各种场景和技术。

CRF在NLP场景下的使用  把NLP问题化归为“标注问题”。 收集大量(已经标注好的)语料。 建立特征模板,由软件系统自劢扫描语料幵按模板生成特征函数。这样得到的特征函数可能非常多,但在训练过程中,经常重复出现的特征,其对应权值会得到强化,丌常出现的特征,权值会被自劢弱化。 训练...

2017-10-11 10:46:38 579 0

转载 深度学习和自然语言处理的应用和脉络2-复杂模型,最大熵-隐马尔科夫模型-条件随机场

除了最简单的N-gram模型,还有比较复杂的模型。比如最大熵模型和隐马尔科夫语言模型。   关于最大熵模型详细解释,请参考。http://blog.csdn.net/changdejie/article/details/78201001 隐马尔可夫模型         很...

2017-10-11 10:43:59 643 0

转载 最大熵模型通俗理解和例子

最大熵模型是一种综合模型,即我们知道很多关于一个东西的先验知识,然后用最大熵公式计算出来。很类似机器学习中的组合提升模型。         下面举一个最大熵模型的例子。我们看一个拼音转汉字的简单的例子。假如输入的拼音是"wang-xiao-bo",利用语言模型,根据有限的...

2017-10-11 10:41:20 3259 0

转载 深度学习和自然语言处理的应用和脉络1-基础

本文是听炼数成金的黄老师机器读心术之深度学习大战自然语言处理的课程总结的笔记和读后感。 NLP技术发展阶段 以语言学为主要基础的时代(过去):建立基本语言觃则使用数理逻辑迚行推理,建立模型产生戒理解语言 以统计斱法为主流的时代(现在):当数据量积累到海量,本身就能...

2017-10-09 16:31:59 442 1

原创 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理4-循环神经网络,LSTM

循环神经网络很早就有了,其结构如下图。注意,这里其实只有一个神经网络结构。而不是7个。下图是为了方便表示,一次把7个时间的网络都画在上面。举个翻译的例子,I am hungry 比如在时间1,我们输入了 I,通过神经网络 输出了对应的翻译 我。然后时间2 ,输入了 am。这个时候网络的输入不但是 ...

2017-09-27 17:34:44 3157 0

原创 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理3-残差神经网络

虽然前文,提到的卷积神经网络,可以通过权值共享等手段对抗一定程度的梯度消失。但是实际发现一旦网络超过20层,效果会逐渐变差。梯度消失的现象仍然存在。何凯宁等人发明的深度残差网络可以解决更深网络的训练问题。深度残差网络的深度可以很轻松到底几百层,最新的数据表明。微软已经训练了一万多层的残差网络,这对...

2017-09-27 15:13:48 647 0

原创 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理2-卷积神经网络

卷积神经网络,本质也是一种BP神经网络,但是采用了一些手段和技巧对抗梯度消失,卷积神经网络特别适用用于图像处理。 详细参考下面的文章,已经写的很好。 http://www.cnblogs.com/nsnow/p/4562308.html 这里我们讲一个详细的例子: ...

2017-09-27 14:08:34 1139 0

原创 一文理解深度学习,卷积神经网络,循环神经网络的脉络和原理1-深度学习基础

人体神经细胞工作原理。如下图。树突接受其他神经细胞的刺激。经过细胞核的处理通过轴突进行输出到其他神经细胞或者肌肉。这样传输就会形成一个通路。当我们持续学习一种事物的时候,就会持续的刺激该通路上的所有神经细胞。从而使得通路更加顺畅。形成记忆。从而加深学习。 2 通过模拟上述过程。我们通过计算...

2017-09-27 10:02:32 1078 0

转载 玻尔兹曼机通俗理解

玻尔兹曼机特点:  • Boltzmann机是第一个受统计力学启发的多层学习机,它是一类典型的随机神经网络属于反馈神经网络类型 。其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为 。 • 它在神经元状态变化中引入了统计概率,网络的平衡状态服从Boltzm...

2017-09-26 16:47:27 10152 0

原创 Hopfield神经网络的通俗理解

Hopfield网络 和BP神经网络区别和联系。        前馈型神经网络通过引入隐层及非线性转移函数(激活函数)使得网络具有复杂的非线性映射能力。前馈网络的输出仅由当前输入和权矩阵决定,而与网络先前的输出状态无关。而Hopfield神经网络,会把其输出反馈给输出...

2017-09-26 16:10:48 8519 0

原创 maven安装第三方库到私服上面方法。

1 开发中经常会遇到,需要添加一个第三方库的情况。如果是每个开发成员都在本地安装的话,很不方便。最好是统一上传到本地私服中。这样开发成员就可以,添加一个依赖,自动从私服中下载。maven对于这种情况,提供了几种解决方案。 一种是,通过 nexus上传添加。需要有管理员的写入权限。 ht...

2017-09-18 15:37:54 370 0

原创 Java applet can't open files under Safari 7

Safari 对 java applet 程序有安全设置。默认禁止,读取,如果需要打开的话。需要进行设置。如下。 偏好设置--》安全性---》插件设置--》java--》选择相应的网站--》不安全方式运行

2017-09-14 17:38:46 126 0

原创 数据归一化(normalizing)的直观理解和通俗解释。

以前一直对,数据归一化有一些模糊的概念,最近看Andrew Ng的课程。才有了深入的认识。如下图。 数据归一化,其实就是  数据减去均值再除以标准差。直观解释如下图的过程。清晰明了。

2017-09-07 10:42:15 1494 1

原创 mac no module import cv2。

首先安装 brew,然后安装 opencv  brew tap homebrew/science brew install opencv 安装必要的python库 pip install numpy pip install matplotlib ...

2017-04-06 18:16:50 3581 0

原创 idea debugger console 不见了。

1  找了好久,也找不到,调试的时候挺麻烦的。 2 最后发现 有个一个重置,视图的按钮。点击一下就恢复 。

2017-03-20 15:53:29 104731 18

原创 echart3.0 节点关系图,自定义提示。边上属性不显示的问题。

1 公司项目需要,需要可视化titan gragh 的图。并且经过点和关系的时候进行自定义的提示。最终效果如下。 经过边和节点时候提示自定义的属性。但是发现,在用。 var graph = echarts.dataTool.gexf.parse(xml); 解析从服务端返...

2017-02-10 16:09:14 2160 0

原创 spring boot 配置默认编码。request 设置不生效。

1  有时候 直接在 reques 中 设置 charset并不会生效。需要在第一个过滤器中就设置,后面才能生效。 2 配置 spring.http.encoding.charset=utf8 就生效了。

2017-01-22 18:25:10 8547 0

原创 c#通过post提交给java spring boot,utf-8 % & 乱码的问题。

1  公司项目需要,需要通过 c#往java提交json字符串。使用utf-8模式,但是实际中发现,一直有乱码,其他字符,中文,英文都正常。就是碰到 %会出现乱码。然后 %后面的其他字符也会乱码。 2 实际测试发现,这是两个系统不兼容导致的。%貌似是一个系统默认的特殊字符。解决方案是 把 % 替换...

2017-01-22 18:10:49 1514 0

原创 实现HashMap深度拷贝

可以采取下面的函数,实际测试通过。 private static Map deepCloneMap(Map src){    Map des=new LinkedHashMap();    des.putAll(src);    return des;     }

2014-12-04 14:13:19 661 0

原创 Initial job has not accepted any resources;check your cluster All masters are unresponsive! Giving u

这是由于 spark集群未响应导致的,可以按照如下的顺序检查 1 检查防火墙,是否放开了 7077 和相应端口 2 使用 ./bin/spark-shell --master spark://spark.master:7077 检测看是否能成功 注意 不要使用 spark://123.123...

2014-11-26 14:07:45 998 0

原创 python 安装 easy_install 的三种方式

1 安装setuptools  wget http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg#md5=fe1f997bc722265116870bc7919059ea  --no-check-c...

2014-08-13 18:17:03 2644 0

原创 短信猫 smslib errormessage 为 null 异常

1 最近公司 在开发短信猫,如果 发送失败 可以看日志  把  error

2014-06-25 10:23:00 644 0

原创 ssh 用 scp 命令 后台传输文件 ,不需要输入密码

1  在需要 传输文件的机器上执行 //所有设置 按照默认,回车即可 ssh-keygen  -t  rsa

2014-06-17 10:06:23 754 0

原创 在win7 64位 数据库 sql server 2005转换 成 sql server 2000

1  由于业务需要,需要 吧 sql server 2005

2014-05-12 15:26:08 659 0

提示
确定要删除当前文章?
取消 删除