大数据
文章平均质量分 86
等等等等等再等
彼时当年少,莫负好时光!
展开
-
Hadoop3 HA高可用集群搭建
文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full)4. hadoop高可用集群搭建(HA)4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 hadoop HA集群的启动步骤1. linux ssh免密登陆配置hadoop节点之间的通讯是通过ssh进行的,SSH默认都是需要密码的,开启免密钥登录会减少很多麻烦。操作...原创 2018-12-20 15:08:23 · 3334 阅读 · 2 评论 -
HBase学习笔记
HBase简介Hbase(Hadoop Database),是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库;利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务;主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库)。HBase 数据模型ROW K...原创 2019-03-23 10:51:32 · 284 阅读 · 0 评论 -
Hive学习笔记
Hive将元数据存储在数据库中,如mysql、derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。Hive的数据存储在HDFS中,大部分的查询、计算由MapReduce完...原创 2019-03-23 10:52:39 · 176 阅读 · 0 评论