大数据学习
jiayouLau
路漫漫其修远兮 吾将上下而求索
展开
-
Zookeeper学习
Zookeeper 一. Zookeeper背景 1.1认识Zookeeper ZooKeeper---译名为“动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样...原创 2018-12-07 13:46:03 · 211 阅读 · 0 评论 -
HDFS学习
HDFS HDFS基本概念 HDFS介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能...原创 2018-12-27 19:54:16 · 334 阅读 · 0 评论 -
MapReduce学习
MapReduce 一 MapReduce计算模型 MapReduce的思想 MapReduce 思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce 的思想核心是“ 分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想,而不是自己原创。 Map 负责“分”,即把复杂的任务分解为若干个“简单的任务”来...原创 2018-12-28 20:52:39 · 313 阅读 · 0 评论 -
Hive学习
Hive 一 数据仓库与数据库的区别 数据库与数据仓库的区别实际讲的是 OLTP 与 OLAP 的区别。 操作型处理,叫联机事务处理 OLTP(On-Line Transaction Processing,),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库...原创 2018-12-28 20:56:18 · 372 阅读 · 0 评论 -
插入排序
插入排序 首先理解原理 现有数组: int[] arr = new int[]{4,67,3,66,33,55,88,21,15,16,2,44,77,57,68}; 原理: 1.与选择排序类似,本轮比较之前已经将一部分数据排序好了。也就是说,假如现在是第i轮比较,那么从...原创 2019-01-20 16:19:25 · 149 阅读 · 0 评论 -
CentOS中搭建Zookeeper集群
Zookeeper集群搭建 ---------------------------------- 前提:虚拟机主机名,域名映射,防火墙,ssh免密登陆,同步集群时间,安装jdk ---------------------------------- 1.上传安装包到/export/software/ 通过lrzsz的rz命令...原创 2018-12-03 16:25:28 · 114 阅读 · 0 评论