![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Au-csdn
邮箱:hzj1301414175@gmail.com
展开
-
搭建hadoop3.0.3全分布式集群
环境:hadoop 3.0.3VMware+Ubuntu 16.04两台(或多台)JDK 1.8一、装好Linux虚拟机,大概步骤如下:命名随便,为了方便区分,主节点取名master,从节点1取名slave1,从节点2取名slave2。。。。为了以后ip地址不变,网络适配器选择桥接模式。二、装好后,查询各节点ip(命令:ifconfig):我...原创 2019-02-27 14:19:52 · 1210 阅读 · 0 评论 -
Zookeeper选举机制
Zookeeper选举机制Zookeeper的选举机制是半数机制(Paxos协议):集群中半数以上机器存活,集群就可用。所以Zookeeper适合装在奇数台机器上。Zookeeper在配置文件没有指定master和slave,但是在Zookeeper工作时,是有一个节点为leader,其它为followrer,这个leader就是通过内部的选举机制临时产生的。集群中每台机器在选举过程中有...原创 2019-08-16 14:33:05 · 658 阅读 · 0 评论 -
Hive的order by、sort by、distribute by、cluster by
Hive 的 sort by 与 order by、distribute by 与 cluster by文章目录Hive 的 sort by 与 order by、distribute by 与 cluster bysort by 与 order bydistribute by 与 cluster bysort by 与 order by我们知道,在MapReduce中,每个分区的数据是k...原创 2019-08-16 14:29:07 · 490 阅读 · 0 评论 -
Hive安装与使用
Hive安装与使用文章目录Hive安装与使用Hive安装设置Hive执行环境Hive支持的数据类型表的创建内部表外部表分区表Array、Map、Struct的使用ArrayMapStructHive安装到官网下载 apache-hive-2.3.5-bin.tar.gz 文件到/home/au/software/hive(目录随意)。解压该文件:tar -zxvf apache-hiv...原创 2019-08-16 14:27:51 · 451 阅读 · 0 评论 -
Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io
Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io.IOException Could not locate executable null\bin\winutils.exe in the Hadoop binaries.在windows的idea...原创 2019-08-06 19:12:43 · 923 阅读 · 0 评论 -
HBase存储原理、读写原理以及flush和合并过程
HBase存储原理、读写原理以及flush和合并过程文章目录`HBase`存储原理、读写原理以及`flush`和合并过程`HBase`存储原理(架构)`HBase`读原理`HBase`写原理`HBase`数据`flush`刷写过程`HBase`数据`compaction`合并过程HBase存储原理(架构)HBase依赖于Zookeeper和Hadoop的,所以在启动HBase前需要启动Z...原创 2019-08-10 21:48:02 · 2140 阅读 · 8 评论 -
Zookeeper概述
zookeeper概述文章目录`zookeeper`概述`1.` 概述`2.` 特点`3.` 数据结构`4.` 应用场景1. 概述Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。Zookeeper 从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生...原创 2019-08-01 15:35:00 · 265 阅读 · 0 评论 -
大数据——Flume
大数据 —— Flume文章目录大数据 —— `Flume``Flume`简介`Flume`结构`Flume`安装`Flume`常用命令`Flume`实例1. 监控一个文件,实时采集新增的数据输出到控制台2. 从指定网络端口采集数据单行数据输出到控制台3. 监控一个文件,实时采集新增的数据输出到`Kafka`4. 监听TCP的端口,实时采集新增的数据输出到控制台5. 监控一个文件,实时采集新增的...原创 2019-07-21 16:43:05 · 842 阅读 · 0 评论 -
MapReduce原理
MapReduce原理文章目录MapReduce原理MapReduce架构MapReduce执行过程MapReduce的map与reduce过程`MapReduce`流程总览:`MapReduce`详细流程:`Map`端分析:`Shuffle`过程分析:`map`端的`shuffle`:`Reduce`端的`shuffle`:`Reduce`端分析:MapReduce架构在MapReduce...原创 2019-08-16 14:35:13 · 1198 阅读 · 1 评论