- 博客(66)
- 收藏
- 关注
RSS订阅原创 通俗理解kaggle比赛大杀器xgboost
本题解析来源于July的CSDN博客《通俗理解kaggle比赛大杀器xgboost》，特原封不动的刊载于此。0 前言xgboost一直在竞赛江湖里被传为神器，比如时不时某个kaggle/天池比赛中，某人用xgboost于千军万马中斩获冠军。而我们的机器学习课程里也必讲xgboost，如寒所说：“RF和GBDT是工业界大爱的模型，Xgboost 是大杀器包裹，Kaggle各种Top排行榜曾一度呈现Xgboost一统江湖的局面，另外某次滴滴比赛第一名的改进也少不了Xgboost的功劳”。此外，公司七月在
2020-05-11 13:53:10
519
原创 偏差和方差有什么区别
解释一**偏差：**描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。**方差：**描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。参考：Understanding the Bias-Variance Tradeoff解释二Bias：误差，对象是单个模型，期望输出与真实标记的差别Variance：方差，对象是多个模型从同一个数据集中，用科学的采样方法得到几个不同的子训练集，用这些训练集训练得到
2020-05-11 13:47:35
3131
原创 Java程序员必备图集
作者：捡田螺的小男孩来源：捡田螺的小男孩前言最近看了深入理解Java虚拟机第三版，整理了一些基础结构图，算是比较全的了，做一下笔记，大家一起学习。1.Java虚拟机运行时数据区图JVM内存结构是Java程序员必须掌握的基础。程序计数器程序计数器，可以看作当前线程所执行的字节码的行号指示器它是线程私有的。Java虚拟机栈线程私有的，生命周期与线程相同。每个...
2020-05-11 13:41:00
357
原创 Java程序员必备基础结构图
作者：捡田螺的小男孩来源：捡田螺的小男孩前言最近看了深入理解Java虚拟机第三版，整理了一些基础结构图，算是比较全的了，做一下笔记，大家一起学习。1.Java虚拟机运行时数据区图JVM内存结构是Java程序员必须掌握的基础。程序计数器程序计数器，可以看作当前线程所执行的字节码的行号指示器它是线程私有的。Java虚拟机栈线程私有的，生命周期与线程相同。每个方法被执行的时候都会创建一个"栈帧",用于存储局部变量表(包括参数)、操作数栈、动态链接、方法出口等信息。局部变量表存放.
2020-05-11 13:40:49
688
原创 Jackson 框架的高阶应用
Jackson 是当前用的比较广泛的，用来序列化和反序列化 json 的 Java 的开源框架。Jackson 社 区相对比较活跃，更新速度也比较快， 从 Github 中的统计来看，Jackson 是最流行的 json 解析器之一 。 Spring MVC 的默认 json 解析器便是 Jackson。 Jackson 优点很多。 Jackson 所依赖的 jar 包较少 ，简单易用。...
2020-05-11 13:35:00
206
原创 Jackson框架的高阶应用
Jackson 是当前用的比较广泛的，用来序列化和反序列化 json 的 Java 的开源框架。Jackson 社 区相对比较活跃，更新速度也比较快， 从 Github 中的统计来看，Jackson 是最流行的 json 解析器之一 。 Spring MVC 的默认 json 解析器便是 Jackson。 Jackson 优点很多。 Jackson 所依赖的 jar 包较少 ，简单易用。与其他 Java 的 json 的框架 Gson 等相比， Jackson 解析大的 json 文件速度比较快；Jacks
2020-05-11 13:33:59
226
原创 Java 几种常用 JSON 库性能比较
每次都在网上看到别人说什么某某库性能是如何如何的好，碾压其他的库。但是百闻不如一见，只有自己亲手测试过的才是最值得相信的。JSON不管是在Web开发还是服务器开发中是相当常见的数据传输格式，一般情况我们对于JSON解析构造的性能并不需要过于关心， 除非是在性能要求比较高的系统。目前对于Java开源的JSON类库有很多种，下面我们取4个常用的JSON库进行性能测试对比， 同时根据测试结果分析如果根据实际应用场景选择最合适的JSON库。这4个JSON类库分别为：Gson，FastJson，Jackson，
2020-05-11 13:17:40
141
原创 KM算法原理+证明
title: KM算法原理+证明date: 2020-04-26categories: [“算法”]summary: “以匈牙利算法为基础，改善后用于求解带权二分图的求最佳匹配问题。百度百科中有KM算法的介绍，当中有证明过程：[百度KM算法]”author: White Songtags: [“二分图”]cover: https://img.yilon.top/blog/czsh9....
2020-04-26 16:33:11
713
原创 Contexts使用以及详细配置
不要说什么四指上划看所有窗口，我就是无法做到准确迅速定位我要打开的窗口！我必须要用肉眼看我打开的窗口在调度中心被排列到什么位置了；不要说什么四指下滑看所有打开的程序窗口，更多的时候我都不知道我开启了多少个Chrome窗口。更别提CMD+W CMD+H CMD+M 和“固定” “隐藏” 在DOCK中不同的展示方式让人理解起来多么困惑了！程序下面的小黑点又是什么鬼？我只想在DOCK里看见我当前正...
2020-04-26 16:23:09
2781
原创 Apache Maven 学习教程
Blog: https://blog.yilon.topApache Maven 概述Maven - 概述Maven 是什么？Maven 是一个项目管理和整合工具。Maven 为开发者提供了一套完整的构建生命周期框架。开发团队几乎不用花多少时间就能够自动完成工程的基础构建配置，因为 Maven 使用了一个标准的目录结构和一个默认的构建生命周期。在有多个开发团队环境的情况下，Mave...
2020-04-19 12:37:58
782
原创 XML 学习笔记
Blog: https://blog.yilon.topXML 简介XML 指可扩展标记语言（EXtensible Markup Language）。XML 是一种很像HTML的标记语言。XML 的设计宗旨是传输数据，而不是显示数据。XML 标签没有被预定义。您需要自行定义标签。XML 被设计为具有自我描述性。XML 是 W3C 的推荐标准。HTML 被设计用来显示...
2020-04-19 12:27:00
184
原创 从方法到思维：什么是应用逻辑架构的正确姿势？
Blog: https://blog.yilon.top作者: 阿里技术地址: https://zhuanlan.51cto.com/art/202004/613905.htm本文分享阿里资深技术专家六铢的架构方法论，这套方法论中包含了详细的架构推导逻辑，希望能够帮助大家在工作中从各个粒度、各个层次来做好架构工作。较长，同学们可先收藏再看。一、背景1.1 架构中的问题识别需求分...
2020-04-08 21:48:24
704
原创 从方法到思维：什么是应用逻辑架构的正确姿势？
Blog: https://blog.yilon.top作者: 阿里技术地址: https://zhuanlan.51cto.com/art/202004/613905.htm本文分享阿里资深技术专家六铢的架构方法论，这套方法论中包含了详细的架构推导逻辑，希望能够帮助大家在工作中从各个粒度、各个层次来做好架构工作。较长，同学们可先收藏再看。一、背景1.1 架构中的问题识别需求分...
2020-04-08 21:44:19
1925
原创 VIM入门教程
Blog: https://blog.yilon.topvim快速入门vim模式介绍从vi衍生出来的Vim具有多种模式，这种独特的设计容易使初学者产生混淆。几乎所有的编辑器都会有插入和执行命令两种模式，并且大多数的编辑器使用了与Vim截然不同的方式：命令目录（鼠标或者键盘驱动），组合键（通常通过control键（CTRL）和alt键（ALT）组成）或者鼠标输入。Vim和vi一样，仅仅...
2020-04-08 21:35:34
418
原创 Python&NumPy教程
Blog: https://blog.yilon.top我们将在本课程的所有作业中使用Python编程语言。Python本身就是一种伟大的通用编程语言，并且它在一些其他流行的Python库(numpy、sciy、matplotlib)的帮助下，它成为了一个强大的科学计算环境。我们希望你们中大部分人会有一点Python和numpy的使用经验；因为对于大部分人来说，本节将作为关于Python...
2020-04-01 17:11:25
292
原创 一招搞定GitHub下载加速
作者：White SongBlog: https://blog.yilon.top一个痛点众所周知，GitHub 是一个巨大的开源宝库，以及程序员和编程爱好者的聚集地，包括我之前推荐的诸多优秀的开源项目全部都是位于 GitHub 上。但是每当我们看到优秀的开源项目，准备去**下（bai）载（piao）**时，会发现 git clone的速度异常之慢！就我个人而言，在我家里 200M 移...
2020-04-01 14:08:51
845
原创 Faiss介绍以及使用详解
简介faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。 具有以下特性。1、提供多种检索方法2、速度快3、可存在内存和磁盘中4、C++实现，提供Python封装调用。5、大部分算法支持GPU实现下面给出一些快速链接方便查找更多内容。github官方文档c++类信息Troubleshooting官方安装文档安装文档中给...
2020-03-31 19:17:36
3323
2
原创 喜极而泣，我终于学会了Nginx！
Nginx 是开源的轻量级 Web 服务器、反向代理服务器，以及负载均衡器和 HTTP 缓存器。其特点是高并发，高性能和低内存。Nginx 专为性能优化而开发，性能是其最重要的考量，实现上非常注重效率，能经受高负载的考验，最大能支持 50000 个并发连接数。Nginx 还支持热部署，它的使用特别容易，几乎可以做到 7x24 小时不间断运行。Nginx 的网站用户有：百度、淘宝、京东、腾讯、新...
2020-03-31 12:06:44
239
原创 一口气说出Kafka为啥这么快?
作者: 钟涛编译来源：https://developer.51cto.com/art/202003/613487.htmBlog: https://blog.yilon.top在过去的几年里，软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。微服务、事件驱动架构和 CQRS(命令查询的责任分离 Command Query Responsibility Segre...
2020-03-31 11:41:36
249
原创 Selenium简介与使用教程&项目实战
作者：White SongBlog: https://blog.yilon.top介绍相关文章：以后再有人问你selenium是什么，你就把这篇文章给他如果有耐心，可以详细阅读上方文档，下面是精炼概要如今，大多数软件应用都是跑在浏览器中的网站应用。不同公司和组织之间的测试效率迥异。在这个富交互和响应式处理随处可见的时代，很多组织都使用敏捷的方式来开发，因此测试自动化也成为软件项目的...
2020-03-30 20:28:56
4957
1
转载 自动布署服务器环境，并利用 Git 实现本地代码自动同步到服务器
这里说的自动布署是两方面的，第一部分是脚本自动布署服务器环境，第二部份是自动布署代码，完成这两部分，在我理解，就算是完成自动部署了。我们要做的，就是本地写完代码提交git后，使用git push自动将代码推送到测试或生产环境的站点目录。好的，开工吧！LNMP 线上环境自动布署脚本使用此脚本可在一台全新的Ubuntu 14.04 LTS或者Ubuntu 16上自...
2019-10-11 11:43:15
524
转载 redis 底层数据结构深入理解
说明说到Redis的数据结构，我们大概会很快想到Redis的5种常见数据结构：字符串(String)、列表(List)、散列(Hash)、集合(Set)、有序集合(Sorted Set)，以及他们的特点和运用场景。不过它们是Redis对外暴露的数据结构，用于API的操作，而组成它们的底层基础数据结构又是什么呢简单动态字符串（SDS） 链表 字典 跳跃表 整数集合 压缩列表Red...
2019-09-12 19:31:48
216
原创 Java 二十三种设计模式
一、单例模式定义Ensure a class has only one instance, and provide a global point of access to it.（确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。）Singleton类称为单例类，通过使用private的构造函数确保了在一个应用中只产生一个实例，并且是自行实例化的（在Singleton中自己使...
2019-09-12 18:16:00
341
转载 条件概率，全概率，贝叶斯公式理解
简介学过概率理论的人都知道条件概率的公式：P(AB)=P(A)P(B|A)=P(B)P(A|B)；即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率。由条件概率公式推导出贝叶斯公式：P(B|A)=P(A|B)P(B)/P(A)；即,已知P(A|B)，P(A)和P(B)可以计算出P(B|A)。假设B是由相互独立的事件组成的概率空间{B1,b2，...bn}。则P(A)...
2019-09-11 17:49:26
4272
原创 Git使用教程：最详细、最傻瓜、最浅显、真正手把手教！
（预警：因为详细，所以行文有些长，新手边看边操作效果出乎你的预料）一：Git是什么？Git是目前世界上最先进的分布式版本控制系统。工作原理 / 流程：Workspace：工作区Index / Stage：暂存区Repository：仓库区（或本地仓库）Remote：远程仓库二：SVN与Git的最主要的区别？SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活...
2019-09-11 17:48:22
267
原创 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
前言（标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent...
2019-09-11 17:46:04
171
转载 知识集合之Lock
synchronized的缺陷synchronized是java中的一个关键字，也就是说是Java语言内置的特性。那么为什么会出现Lock呢？在synchronized文章中，我们了解到如果一个代码块被synchronized修饰了，当一个线程获取了对应的锁，并执行该代码块时，其他线程便只能一直等待，等待获取锁的线程释放锁，而这里获取锁的线程释放锁只会有两种情况：获取锁的线程执行完了该...
2019-09-11 17:44:42
93
原创 Parameter Server架构
Parameter Server架构现在的机器学习系统，但凡是大一点的公司，恐怕都在用分布式了。而在分布式机器学习领域，最出名的恐怕就是少帅的PS框架了。在本博文里，PS框架特指第三代PS框架，即少帅的PS框架，PS框架在本文里有和分布式机器学习框架等同的意义。本片博客是论文笔记性质，特此声明。现在的大数据机器学习系统，通常数据在1TB到1PB之间，参数范围在109和1012左右。再这...
2019-09-11 17:43:39
228
原创 机器学习--Logistic回归计算过程的推导
1.引言看了Stanford的Andrew Ng老师的机器学习公开课中关于Logistic Regression的讲解，然后又看了《机器学习实战》中的LogisticRegression部分，写下此篇学习笔记总结一下。首先说一下我的感受，《机器学习实战》一书在介绍原理的同时将全部的算法用源代码实现，非常具有操作性，可以加深对算法的理解，但是美中不足的是在原理上介绍的比较粗略，很多细节没有具...
2019-09-11 17:42:29
159
转载 Spark性能优化指南
1. 前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行...
2019-09-11 17:41:24
128
原创 LinkedBlockingDeque
一、LinkedBlockingDeque简介 java6增加了两种容器类型，Deque和BlockingDeque,它们分别对Queue和BlockingQueue进行了扩展。 Deque是一个双端队列，deque(双端队列) 是 "Double Ended Queue" 的缩写。因此，双端队列是一个你可以从任意一端插入或者抽取元素的队列。实现了在队列头和队列尾的高效插入和移除。 ...
2019-09-11 17:39:02
233
原创 elasticsearch的keyword与text的区别
es2.*用户可忽略该文章。es 2.*版本里面是没有这两个字段！！！当初接触es，最惊讶就是他的版本速度发布太快，这次主要讨论keyword与text的区别在es 2.*版本里面是没有这两个字段，只有string字段。5.*之后，把string字段设置为了过时字段，引入text，keyword字段这两个字段都可以存储字符串使用，但建立索引和搜索的时候是不太一样的keyw...
2019-09-11 17:37:37
336
原创 ES 知识点
一、ES基于_version 进行乐观锁并发控制post /index/type/id/_update?retry_on_conflict=5&version=61.内部版本号第一次创建document的version版本号为1，以后每次对这个document修改或删除操作，version自动加1。同时带上数据的版本号，确保es中数据的版本号，跟客户端中的数据的版本号是相同...
2019-09-11 17:35:44
149
原创 linux awk命令详解
linux awk命令详解简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始...
2019-08-29 18:30:24
735
原创 AWK程序设计语言
AWK程序设计语言一. AWK入门指南Awk是一种便于使用且表达能力强的程序设计语言，可应用于各种计算和数据处理任务。1.1 起步有用的awk程序往往很简短，仅仅一两行。假设你有一个名为 emp.data 的文件，其中包含员工的姓名、薪资（美元/小时）以及小时数，一个员工一行数据，如下所示：姓名薪资小时数Beth4.000Dan3.750kath...
2019-08-29 18:29:04
152
原创 常用服务器日志分析命令大全
常用服务器日志分析命令大全1、查看有多少个IP访问：awk '{print $1}' log_file|sort|uniq|wc -l# wc -l 看看有多少行2、查看某一个页面被访问的次数：grep "/index.php" log_file | wc -l3、查看每一个IP访问了多少个页面：awk '{++S[$1]} END {for (a in S) print a,...
2019-08-29 18:27:33
389
原创 Python学习
Python学习一· 函数参数1.数据类型的检查可以用 isinstance() 函数来实现def my_abs(x): if not isinstance(x, (int, float)): raise TypeError('bad operand type') if x >= 0: return x else: ...
2019-08-29 18:26:36
280
原创 redis 基础教程
redis 基础教程http://www.runoob.com/redis/redis-tutorial.htmlredis 简介Redis 简介Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis 与其他 key - value 缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进...
2019-08-29 18:25:29
618
原创 Scala学习笔记
Scala学习第一个 Scala 程序：Hello Worldobject HelloWord { def main(args: Array[String]) Unity= { println("Hello, world!") }}简介Scala简介Scala 是 Scalable Language 的简写，是一门多范式的编程语言联邦理工学院洛桑（...
2019-08-29 18:24:15
238
原创 人性的弱点
人性的弱点第一章：批评、责备是无补于事的伟人表现其伟大的方式，是在于他们对小人物的宽容与体谅1、严苛的批评是无益的，它只会迫使被批评者采取防卫的行动，使他刻意的为自己的行为寻找合理的解释。2、批评是危险的，因为它直接伤害到一个人的自尊，引起他的反叛意识。德军有一条军纪：明文规定遇到有不满的事情，绝对不准当场发作，定得忍过一晚上，待心情平静下来之后，再提出讨论。3、犯错的人永远只会怪罪...
2019-08-29 18:23:10
794
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人