2018年05月_m0_37758017

转载 Spark Client和Cluster两种运行模式的工作流程、基本概念

在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束工作流程如下： 1.启动master和worker . worker负责整个集群的资源管理，worker负责监控自己的cpu,内存信息并定时向master汇报 2.在client中启动Driver进程，并向master注册 3....

2018-05-30 11:29:24 13929 2

转载 elasticsearch（三）

DSL查询（Domain Specific Language 领域特定语言） curl -XGET http://localhost:9200/bjsxt/employee/_search -d {“query”:{       “match”:{“last_name”:”Smith”}      ...

2018-05-27 11:29:44 143

转载 Elasticsearch（二）

CURL – 简单认为是可以在命令行下访问url的一个工具 – curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。 – curl – -x 指定http请求的方法 – HEAD GET POST PUT DELETE – -d 指定要传输的数据建立索引库 curl ...

2018-05-12 08:16:09 170

转载 Elasticsearch（一）

一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口。 ES VS SOLR – 接口 REST风格的访问接口 ...

2018-05-10 22:09:50 127

转载 PageRank

通过计算页面链接的数量和质量来确定网站重要性的粗略估计。算法创立之初的目的是应用在Google的搜索引擎中，对网站进行排名。 **核心思想** PageRank是基于从许多优质的网页链接过来的网页，必定还是优质网页的思想建立的。其包括：链入链接数（即受欢迎的指标）、链入链接是否来自推荐度高的页面、链入链接源页面的链接数。 => 即得到页面A的PR值的计算公式推导出

2018-05-10 08:29:09 702

转载聚类算法---Kmeans，K-mediods，bisecting K-means，DBSCAN，STING

Kmeans learn URL https://blog.csdn.net/loveliuzz/article/details/78783773

2018-05-10 07:51:34 2737

转载马尔可夫模型（Markov Model）

https://www.cnblogs.com/fengfenggirl/p/HMM_1.html 超通熟易懂及推理！！！！！！！！！优点：该方法对过程的状态预测效果良好，可考虑用于生产现场危险状态的预测缺点：不适宜用于系统中长期预测

2018-05-08 08:53:40 8621

转载 EM

learning URL 理论推导和优缺点 https://blog.csdn.net/zhihua_oba/article/details/73776553 http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html 其基本思想是：首先根据己经给出的观测数据，估计出模型参数的值；然后再依据上一步估计出的参数

2018-05-08 08:42:53 167

转载 Docker

一个开源的应用容器引擎，基于 Go 语言并遵从Apache2.0协议开源。 docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。应用场景 1）Web 应用的自动化打包和发布

2018-05-08 08:16:43 115

转载决策树

信息论(Information theory) 对于一个变量X~p（X服从p分布），该变量的熵是描述该变量的不确定性的一个值 eg:对于一个有k个状态的离散随机变量X，有信息增益：(information gain) g(D,A) = H(D)-H(D|A) 表示了特征A使得数据集D的分类不确定性减少的程度信息增...

2018-05-07 21:01:33 147

转载 AdaBoost

理论推导URL：http://www.cnblogs.com/pinard/p/6133937.html 集成方法(Ensemble Method) = Bagging + Boosting 1）Bagging思想通过对训练数据集进行随机采样，以重新组合成不同的数据集，利用弱学习算法对不同的新数据集进行学习，得到一系列的预测结果，对这...

2018-05-07 20:24:01 111

转载 docker

一个开源的应用容器引擎，基于 Go 语言并遵从Apache2.0协议开源。一个集开发，打包，运行应用于一体的开放式平台，用来快速交付应用，将应用程序从你的基础设施中分离出来，并将基础设施当做一个管理平台，可以加快打包时间，加快测试，加快发布，缩短开发及运行代码之间的周期，通过结合内核容器化特点和工作流，并使之工具化来实现这一切，帮助管理和发布你的应用。 Docker 可以让...

2018-05-07 20:05:14 97

m0_37758017的博客