qq_36351824的博客

前面一篇文章成功实践了通过rancher的web终端一键部署K8S集群服务。今天的实验内容是通过rancher应用商店一键部署EFK日志监控平台，用于监控K8S集群下日志状况。应用列表展示如下：在应用商店中部署了“普罗米修斯”监控插件、K8S仪表盘以及今天的EFK日志监控插件。不知道rancher对EFK插件的具体要求，也就是至少要运行几个节点。之前架构如下：rancher master一台；K8S master节点一台；K8S node节点一台。感觉节点数量不太符合EFK的

1. Spark推荐算法概述　　　　在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用户和n个物品对应的评分矩阵M分解为两个低维的矩阵：Mm×n=PTm×kQk×nMm×n=Pm×kTQk×n　　　　其中k为分解成低维的维数，一般远比m和n小。如果大家对FunkSVD算法不熟悉，可以复习对应的原理篇。2...

Spark 1.1.0 Basic Statistics（下）源地址：http://blog.selfup.cn/1157.htmlHypothesis testingHypothesis testing，假设检验。Spark目前支持皮尔森卡方检测（Pearson’s chi-squared tests），包括适配度检定和独立性检定。皮尔森卡方检测皮尔森卡方检测是最...

64位centos6.4千万别自己解压配置！1.新开的云服务器，需要检测系统是否自带安装mysql# yum list installed | grep mysql2.如果发现有系统自带mysql，果断这么干# yum -y remove mysql-libs.x86_643.随便在你存放文件的目录下执行，这里解释一下，由于这个mysql的yum源服务器在国外，所以下载...

先把hive-site.xml文件清空（5000行配置太坑了）<property>    <name>javax.jdo.option.ConnectionUserName</name>   <value>hadoop</value></property><property>   <n

一、Storm 简介        Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理 数以百万计的消息）。Storm的部署和运维都...

kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量，且具备良好的容错能力。     1、持久性    kafka使用文件存储消息，这就直接决定kafka在性能上严重依赖文件系统的本身特性。且无论任何OS下，对文件系统本身的优化几乎没有可能。文件缓存/直接内存映射等是常用的手段。因为kafka是对日志文件进行append操作，因此磁盘检索的...

一：入门1、简介kafka是一个分布式消息缓存系统。2、brokerkafka集群中的每个服务器都叫broker。3、客户端kafka有两类客户端：producer（消息生产者）和 consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接。4、Topic（主题）和partition（分区）kafka中不同业务系统的消息可以通过topic进行区...