2018年10月_努力的凹凸曼

11月 10月 09月 08月 06月 05月 04月 03月

原创 Windows下Redis数据库管理工具（redis-desktop-manager)安装与配置（图文详解）

Redis Desktop Manager安装　　Redis Desktop Manager直接下载安装就行非常简单。下载地址：官网下载：https://redisdesktop.com/download github地址：https://github.com/uglide/RedisDesktopManager/releases 　　安装好后运行Redis，此时是无法创建连接的，因为我...

2018-10-29 17:24:32 1332

原创 CBoard数据分析实战

介绍 CBoard由上海楚果信息技术有限公司主导开源, 它不仅仅是一款自助BI数据分析产品, 还是开放的BI产品开发平台: 用户只需简单妥妥拽拽就能自助完成数据多维分析与报表设计开发者能够简单扩展连接所有你的Java程序能够触及的数据架构图轻量级的技术架构, 与国内开发者耳熟能详的技术栈, 自研多维分析引擎, 完成您在数据分析最后一棒的重要接力. 清晰的性能优化线路, 小...

2018-10-29 09:54:34 4288 5

原创 Kafka分布式集群部署

　　Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 1.下载Kafka并安装 kafka是一个消息系统。 kafka对流数据可以高效的实时处理。分布式集群的环境下能够保证数据的安全。 ...

2018-10-24 15:17:43 368

　　HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建大规模结构化存储集群。　　HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigtable中...

2018-10-23 16:02:56 517

原创 Hadoop2.X HA架构与部署

HDFS-HA原理及配置 1.HDFS-HA架构原理介绍　　hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，这是一个基于Paxos算法实现的HDFS HA方案，它给出了一种较好的解决思路和方案,示意图如下：基本原理就是用2N+1台 JN 存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该...

2018-10-22 17:25:13 354

原创 Zookeeper分布式集群部署

ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等；它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。 Zookeeper可以选择Apache版本，也可以选择Cloudera版本。下载Apache版本的Zookee...

2018-10-17 10:37:26 2925

原创 Hadoop2.X分布式集群部署

本博文集群搭建没有实现Hadoop HA，详细文档在后续给出，本次只是先给出大概逻辑思路。（一）hadoop2.x版本下载及安装 Hadoop 版本选择目前主要基于三个厂商（国外）如下所示：基于Apache厂商的最原始的hadoop版本，所有发行版均基于这个版本进行改进。基于HortonWorks厂商的开源免费的hdp版本。基于Cloudera厂商的cdh版本，Cloudera有免费版和...

2018-10-16 21:12:52 762

原创 Spark on YARN

YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN在Hadoop生态系统中的位置 YARN产生的背景随着互联网高速发...

2018-10-10 11:12:47 228

原创 Spark运行模式

Spark运行模式简介注：重点是Standalone模式，然后是YARNcluster和YARN client模式。 1. Standalone模式即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是其他两种的基础。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，起初...

2018-10-09 11:37:54 173