- 博客(44)
- 收藏
- 关注
RSS订阅转载 XGB数据公式
前言XGBoost跟GBDT是两种应用非常广泛的树模型,之前在几种最优化方法对比中,简单回顾了一下几种常见的最优化方法,算是对这篇内容的简单铺垫. 形象地来说, XGBoost与GBDT都是基于Boost方法的树模型, 是类似的算法模型, 都是函数优化问题. 二者最根本的区别就在于最优化的方法不同,GBDT在函数空间中利用梯度下降法进行优化, 而XGBoost在函数空间中用牛顿法进行优化 同时X...
2019-07-30 16:53:33
431
原创 直接使用训练好的VGG16测试
实验环境：1、下载用VGG16在ImageNet数据集上训练好的权重数据 vgg16.npy 链接:https://pan.baidu.com/s/1gg9jLw3 密码:umce2、下载imagenet_classes.py （1000个类别，tf.argmax 返回值就是imagenet_classes中行号对应的类别），下载地址：http://www.cs.toronto.e...
2019-05-02 16:33:52
2816
2
转载 目标检测之选择性搜索-Selective Search
在基于深度学习的目标检测算法的综述那一节中我们提到基于区域提名的目标检测中广泛使用的选择性搜索算法。并且该算法后来被应用到了R-CNN,SPP-Net,Fast R-CNN中。因此我认为还是有研究的必要。传统的目标检测算法大多数以图像识别为基础。一般可以在图片上使用穷举法或者滑动窗口选出所有物体可能出现的区域框，对这些区域框提取特征并进行使用图像识别分类方法，得到所有分类成功的区域后，通过非...
2019-04-30 10:20:02
606
转载 LBP（Local Binary Pattern，局部二值模式）
LBP（Local Binary Pattern，局部二值模式）是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M.Pietikäinen,和D. Harwood在1994年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征；1、LBP特征的描述 原始的LBP算子定义为在3*3的窗口内，以窗口中...
2019-04-30 09:51:00
3416
1
原创 cv2.inRange函数
函数很简单，参数有三个第一个参数：hsv指的是原图第二个参数：lower_red指的是图像中低于这个lower_red的值，图像值变为0第三个参数：upper_red指的是图像中高于这个upper_red的值，图像值变为0而在lower_red～upper_red之间的值变成255 img_cv2 = cv2.imread(img_file) hsv = cv2.cv...
2019-04-24 22:08:23
29234
2
转载 SVM和LR的比较
在大大小小的面试过程中，多次被问及这个问题：“请说一下逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点”。第一次被问到这个问题的时候，含含糊糊地说了一些，大多不在点子上，后来被问得多了，慢慢也就理解得更清楚了，所以现在整理一下，希望对以后面试机器学习方向的同学有所帮助（至少可以瞎扯几句，而不至于哑口无言ha(*＾-＾*)）。（1）为什么将LR和SVM放在一起来进行比较？回答这个问...
2019-04-18 21:00:26
850
转载 GoogLeNet论文翻译
声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translationGoing Deeper with Convolutions摘要我们在ImageNet大规模视觉识别挑战赛2014（ILSVRC14）上提出了一种代号为Inception的深度卷积神经网络结构，并在...
2019-04-10 12:48:09
466
转载 ResNet论文翻译
声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translationDeep Residual Learning for Image RecognitionAbstractDeeper neural networks are more difficult to tr...
2019-04-10 12:37:41
432
转载 VGG论文翻译
翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translationVery Deep Convolutional Networks for Large-Scale Image RecognitionABSTRACTIn this work we investigate the effect of the convolution...
2019-04-10 09:22:25
1997
1
转载 AlexNet论文翻译
声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translationImageNet Classification with Deep Convolutional Neural NetworksAbstractWe trained a large, deep con...
2019-04-10 09:17:57
534
1
原创 bagging、boosting，adaboost，随机森林和GBDT
关于采样：bagging:总的训练样本个数P，每次随机抽取N（N<=P）个样本做训练集，训练完了把N个样本重新放回总样本中。显然当前抽取的样本的某些样本可能与前一次抽取的某些样本是相同的。如果有M个分类器（需要训练M次），则抽取M次。boosting：总的训练样本个数P，每次用全部样本做训练集，每个样本人为的赋于一个权重。样例权重：Bagging：使用均匀取样，每个样例的权重...
2019-04-09 16:59:39
819
转载 梯度消失与梯度膨胀，以及6种解决措施
1.梯度消失根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0。这种情况会导致靠近输入层的隐含层神经元调整极小。2.梯度膨胀根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话，在经过足够多层传播之后，误差对输入层的偏导会趋于无穷大。这种情况又会导致靠近...
2019-04-08 21:26:53
2320
转载 python训练数据时打乱训练数据与标签的两种方法小结
import numpy as np data = np.array([[1,1],[2,2],[3,3],[4,4],[5,5]]) y = np.array([1,2,3,4,5]) print '-------第1种方法：通过打乱索引从而打乱数据,好处是1:数据量很大时能够节约内存,2每次都不一样----------'data = np.array([[1,1],[2,2...
2019-03-27 20:30:32
1535
转载 死锁的四个必要条件？如何避免与预防死锁？
目录一、什么是死锁 二、死锁产生的原因 三、死锁的四个必要条件 四、 死锁的避免与预防 1. 死锁避免 2. 死锁预防 回到顶部一、什么是死锁死锁是指多个进程因竞争资源而造成的一种僵局（互相等待），若无外力作用，这些进程都将无法向前推进。例如，在某一个计算机系统中只有一台打印机和一台输入 设备，进程P1正占用输入设备，同时又提出使用打印机的请求，但此时打...
2019-03-27 11:37:39
499
转载 利用RNN（lstm）生成文本
转载：https://www.jianshu.com/p/1a4f7f5b05ae致谢以及参考最近在做序列化标注项目，试着理解rnn的设计结构以及tensorflow中的具体实现方法。在知乎中找到这篇文章，具有很大的帮助作用，感谢作者为分享知识做出的努力。学习目标定位我主要重点在于理解文中连接所提供的在github上的project代码，一句句理解数据的预处理过程以及rnn网络搭建...
2019-03-26 21:31:56
1162
转载 keras系列︱Sequential与Model模型、keras基本结构功能（一）
keras系列︱Sequential与Model模型、keras基本结构功能（一）来源“素质云博客”， https://blog.csdn.net/sinat_26917383/article/details/72857454不得不说，这深度学习框架更新太快了尤其到了Keras2.0版本，快到Keras中文版好多都是错的，快到官方文档也有旧的没更新，前路坑太多。到发文为止，已经有th...
2019-03-23 15:20:59
704
转载 设计一个秒杀系统
功能需求：设计一个秒杀系统初始方案商品表设计：热销商品提供给用户秒杀，有初始库存。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 @Entity public class SecKillGoods implemen...
2019-03-21 11:09:48
153
转载 手写简易WEB服务器
手写简易WEB服务器今天我们来写一个类似于Tomcat的简易服务器。可供大家深入理解一下tomcat的工作原理，本文仅供新手参考，请各位大神指正！首先我们要准备的知识是： Socket编程 HTML HTTP协议 服务器编写 反射 XML解析有了上面的知识，我们可以开始写我们的代码了~~1、首先我们要应用Socket编程写一个简单的服务端用来接收服务器端发来的请...
2019-03-20 20:58:01
327
转载 python文件和目录操作方法大全（含实例）
转载自：http://www.jb51.net/article/48001.htm一、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法。1.得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()2.返回指定目录下的所有文件和目录名:os.listdir()3.函数用来删除一个文件:os.remove()4.删除多个目录：os...
2019-03-20 20:04:04
347
转载 一文读懂AI网络结构：LeNet-5 AlexNet VGG Inception ResNet MobileNet
1 引言当前深度学习十分火热，深度学习网络模型对于降低错误率的重要作用不言而喻。深度学习应用场景主要分为三类：物体识别与分类，物体检测，自然语言处理。在物体识别与分类领域，随着AlexNet在2012年一炮走红，深度学习重新燃起了一片热情。从Lenet5第一次使用卷积开始，经历了AlexNet VGG Inception ResNet等各种模型，错误率也一再降低。ResNet-152 top-...
2019-03-19 14:07:46
704
转载 RNN和LSTM
RNN中文分词、词性标注、命名实体识别、机器翻译、语音识别都属于序列挖掘的范畴。序列挖掘的特点就是某一步的输出不仅依赖于这一步的输入，还依赖于其他步的输入或输出。在序列挖掘领域传统的机器学习方法有HMM（Hidden Markov Model，隐马尔可夫模型）和CRF（Conditional Random Field，条件随机场），近年来又开始流行深度学习算法RNN（Recurrent Ne...
2019-03-19 14:03:43
286
转载 完全图解RNN、RNN变体、Seq2Seq、Attention机制
一、从单层网络谈起在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图：输入是x，经过变换Wx+b和激活函数f得到输出y。相信大家对这个已经非常熟悉了。二、经典的RNN结构（N vs N）在实际应用中，我们还会遇到很多序列形的数据：如：自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。 语音处理。此时，x1、x2...
2019-03-19 13:37:22
126
转载 单点登陆SSO
SSO单点登录教程(一)多系统的复杂性SSO单点登录教程(二)单点登录流程分析单点登录教程(三)单点注销流程分析SSO单点登录教程(四)自己动手写SSO单点登录服务端和客户端SSO单点登录教程(五)自己动手写SSO单点注销服务端和客户端SSO单点登录教程(六)CAS-简介&配置https...
2019-03-13 19:12:18
695
转载 Java多线程与并发库高级应用-工具类介绍
Java多线程与并发库高级应用-工具类介绍java.util.concurrent.Lock1、Lock比传统线程模型中的synchronized方式更加面向对象，与生活中的锁类似，锁本身也应该是一个对象。两个线程执行的代码片段要实现同步互斥的效果，它们必须用同一个Lock对象。 lock替代synchronized class Outputer { ...
2019-03-07 10:49:59
572
转载 shuffle机制和原理分析
Shuffle简介Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络...
2019-02-26 22:06:47
23470
2
原创 单例模式——Java实现
饿汉法顾名思义，饿汉法就是在第一次引用该类的时候就创建对象实例，而不管实际是否需要创建。代码如下： 1 2 3 4 5 6 7 public class Singleton { private static Singleton = new Singleton(); privat...
2019-02-17 09:32:58
139
转载 AQS原理
在分析 Java 并发包 java.util.concurrent 源码的时候，少不了需要了解 AbstractQueuedSynchronizer（以下简写AQS）这个抽象类，因为它是 Java 并发包的基础工具类，是实现 ReentrantLock、CountDownLatch、Semaphore、FutureTask 等类的基础。Google 一下 AbstractQueuedSynch...
2019-02-16 15:41:08
128
转载 Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
今天发一篇”水文”，可能很多读者都会表示不理解，不过我想把它作为并发序列文章中不可缺少的一块来介绍。本来以为花不了多少时间的，不过最终还是投入了挺多时间来完成这篇文章的。网上关于 HashMap 和 ConcurrentHashMap 的文章确实不少，不过缺斤少两的文章比较多，所以才想自己也写一篇，把细节说清楚说透，尤其像 Java8 中的 ConcurrentHashMap，大部分文章都说不...
2019-02-16 15:06:37
164
转载 MySql 范式和反范式
范式和反范式设计关系型数据库时，需要遵从不同的规范，设计合理的关系型数据库，不同的规范被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余约小。在关系型数据库中有六中范式：第一范式（1NF），第二范式（2NF），第三范式（3NF），BCNF，第四范式（4NF），第五范式(5NF)。一般数据库设计到第三范式就行了。第一范式1NF是对属性的原子性约束，要求属性具有原子性，不可分。属性不可...
2019-02-07 21:39:17
580
转载 mysql主从同步原理与实战
1、什么是mysql主从同步？当master(主)库的数据发生变化的时候，变化会实时的同步到slave(从)库。2、主从同步有什么好处？水平扩展数据库的负载能力。 容错，高可用。Failover(失败切换)/High Availability 数据备份。3、主从同步的原理是什么？首先我们来了解master-slave的体系结构。如下图：不管是delete、upda...
2019-02-07 21:21:09
269
原创 mysql如何获取慢SQL，以及慢查询的解决方式
浅谈MySQL中优化sql语句查询常用的30种方法1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： sel...
2019-02-07 21:00:00
29250
5
转载 Mysql limit 分页机制和优化实例
MySQL limit 操作常用于程序中的分页，但是如果你没有了解过limit的机制和相关优化原理，一旦数据量上升，程序的性能将会惨不忍睹，所以下面总结几种mysql关于limit优化实例，每个实例后对应都会有演示。（演示的数据来自15年暑期实习的p2p流量数据，表数据量约300W行）1、sql中会范的错误...
2019-02-07 20:23:12
571
1
原创 MySQL有哪几种join方式，底层原理是什么
下面是例子分析表A记录如下：aID aNum1 a200501112 a200501123 a200501134 a200501145 a20050115 表B记录如下:bID bName1 20060324012 ...
2019-02-07 20:10:06
855
转载 史上最简单的 SpringCloud 教程
史上最简单的 SpringCloud 教程 | 第一篇: 服务的注册与发现（Eureka）(Finchley版本)史上最简单的SpringCloud教程 | 第二篇: 服务消费者（rest+ribbon）(Finchley版本)史上最简单的SpringCloud教程 | 第三篇: 服务消费者（Feign）(Finchley版本)史上最简单的SpringCloud教程 ...
2019-02-07 19:34:10
2018
原创 MySQL锁综述
乐观锁乐观锁不是数据库自带的，需要我们自己去实现。乐观锁是指操作数据库时(更新操作)，想法很乐观，认为这次的操作不会导致冲突，在操作数据时，并不进行任何其他的特殊处理（也就是不加锁），而在进行更新后，再去判断是否有冲突了。通常实现是这样的：在表中的数据进行操作时(更新)，先给数据表加一个版本(version)字段，每操作一次，将那条记录的版本号加1。也就是先查询出那条记录，获取出versi...
2019-02-02 23:45:43
118
原创 MySQL底层原理综述
1、概念1.1 数据库事务：简单的说事务就是一组原子性的SQL语句。可以将这组语句理解成一个工作单元，要么全部执行要么都不执行。默认MySQL中自动提交时开启的（start transaction）事务的ACID特性如下：原子性：事务中的所有操作要么全部提交成功，要么全部失败回滚。场景：UPDATE cs_user SET age = 18 , gender = '女' WHERE id ...
2019-02-02 23:17:17
26215
5
原创 Dubbo+zookeeper+smm+业务与服务分离+MySQL集群（读写分离)
摘要： 随着企业的发展，用户访问量迅猛增加，业务类型和业务量增加。企业对整个应用系统提出高性能，高可用，高吞吐量，7*24小时等等。然而企业（公司）的单台数据库无法响应用户请求，用户量对响应速度提出更高的要求，开发代码管理不当，开发效率低，业务逻辑混乱。为了解决以上问题，本文提出一种以Docker容器为基础的高性能架构。主要使用一个容器安装nginx做负载均衡，使用6个容器安装...
2018-12-09 23:44:11
1248
原创 Docker+nginx负载均衡+nginx动静分离+tomcat服务+maven+spring+springMVC+SpringSession+redis（Session一致性）
问题：上次 Docker+nginx负载均衡+nginx动静分离+tomcat服务 一文中提到利用nginx实现负载均衡可能会出现session不一致性问题。例如登陆页面是由tomcat1提供的，即该用户的session存储在tomcat1中。登陆跳转页面时却由tomcat2提供，而tomcat2并没有该用用户的session,最终出现先bug解决办法：SpringSession+red...
2018-12-06 19:44:47
849
原创 Docker+nginx负载均衡+nginx动静分离
Docker+nginx负载均衡+nginx动静分离 我们部署的架构如下1、安装Docker先省略，win10专业版安装十分简单2、可以通过以下命令拉取nginx和tomcat镜像docker pull nginxdocker pull tomcat 3、在自己的宿主主机上创建一个文件夹，如下图（我是创建在D：/VMdata下） 4、为了展示效果，制...
2018-12-05 20:41:28
1064
1
转载 ubuntu解压命令
本文转自：https://www.jb51.net/article/112207.htm 本文主要介绍的是在在Ubuntu下同下各种压缩与解压的方式，压缩与解压的重要性这里就不多说，我们下面直接来看详细的介绍吧。一、.tar解包：tar xvf FileName.tar打包：tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）二、.g...
2018-07-16 21:39:32
7283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人