- 博客(9)
- 收藏
- 关注
原创 hbase是如何启动的----------简介<一>
HBase的启动1.首先需要启动ZooKeeper集群[root@doitedu01 ~]# /opt/apps/zookeeper-3.4.6/bin/zkServer.sh start[root@doitedu02~]# /opt/apps/zookeeper-3.4.6/bin/zkServer.sh start[root@doitedu03~]# /opt/apps/zookeeper-3.4.6/bin/zkServer.sh start2.在启动HDFS正...
2020-09-03 23:28:31
1019
1
原创 hbase的安装部署-------------------<版本2.0.6>
概况版本:2.0.6 节点: 3个tar -zxf hbase-2.0.4-bin.tar.gz-C/opt/apps/ 解压到指定目录在安装HBase的前提之下 ******提醒:集群中的每一台机器的时间一定同步,要么误差在一定的范围内 否则安装会出现异常!!!****** 如果没有时间同步抛出Cloc...
2020-09-03 23:02:45
434
原创 hbase--------是什么详解简介<一>
1.HBase简介HBase来源于 Fay Chang 所撰写的Google论文《Bigtable:一个结构化数据(半结构化)的分布式存储系统》。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目,用于存储海量的结构化或者半结构,非结构化的数据。存储结构化和非结构数据的分布式数据库 !将数据存储在不同的机器上 ! 利用不用机器来
2020-09-03 22:43:32
403
原创 zookeeper的安装部署---------<版本3.4.6>
概况版本: 3.4.6 节点: 3个tar -zxf zookeeper-3.4.6.tar.gz -C /opt/apps/ 解压到指定目录配置文件mv zoo_sample.cfg zoo.cfg vi zoo.cfgzoo.cfgdataDir=/opt/data/zookeeper# the port at which the clients will connectclientPort=2181...
2020-09-02 20:16:10
198
原创 zookeeper是什么---简介一
1基本概念1.1什么是zookeeperZookeeper是一个底层的分布式协调服务!它是hadoop生态体系中很多分布式系统(HDFS、YARN、HBASE、KAFKA.........)的基础组件1.2zookeeper的基本功能为客户提供写数据功能 为客户提供读取据功能 为用户提供数据变化时的监控功能1.3zookeeper的作用分布式系统中的主节点选举!比如hbase中的老大的产生 Hmaster(HA)分布式系统中的主从节点感知!分布式系...
2020-09-02 19:57:09
252
原创 Hadoop的安装部署---------<版本3.1.1>
概况版本: 3.1.1 节点: 3个[root@doitedu01 ~]# tar -zxf hadoop-3.1.1.tar.gz -C /opt/apps/ 解压到指定目录配置文件hadoop-env.shexport JAVA_HOME=/opt/apps/jdk1.8.0_191/core-site.xml<configuration><property><name>dfs.replicatio...
2020-09-01 21:51:58
393
原创 hadoop「一」----主要包含什么内容
1.hadoop包含什么内容1.1主要包含三大核心组件HDFS集群:(Hadoop Distribute File System)分布式文件系统,海量数据存储解决方案负责海量数据的存储集群中的角色主要有 NameNode (主节点)/ DataNode(数据节点)/SecondaryNameNode。 YARN集群:分布式资源调度平台和任务监控平台,负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager(资源管理程序) /NodeManager(节点管理器)..
2020-09-01 21:34:09
864
原创 Flume入门安装部署
1.参数配置Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义) 指定采集方案配置文件,在相应的节点上启动flume agen2.启动命令bin/flume-ng agent-c./confcommands:help ...
2020-09-01 21:16:12
349
原创 flume是什么---前言一
Flume的前言flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一.补充:cloudera公司的主打产品是CDH(hadoop的一个企业级商业发行版)1.什么是FlumeApache Flume.
2020-09-01 21:06:37
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人