hadoop
大数据hadoop为主的相关知识
极客时代
心之所向,即所向披靡
展开
-
Hadoop搭建伪分布式
概念 海量、高增长、多样化的信息数据 有三大发行版本 Apache、CDH、HDP 一、优势 1、高可靠性: Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败节点重新分布处理。 2.高扩展性: 在集群间分配任务数据,可方便扩展数以千计的节点。 3.高效性: 在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。 4.高容错...原创 2019-03-26 22:49:56 · 1225 阅读 · 0 评论 -
Hadoop从零开始搭建完全分布式
简介: 由三个或以上实体机或虚拟机组成的集群。 准备: 1.hadoop2.7.2版本 2.jdk8版本 3.vmware 一、创建虚拟机及相关配置 1.创建虚拟机 一路下一步,选择已有centos7镜像 这里我取名为hadoop01 选择NAT网络模式 设置相关硬件 然后等待创建(中间空的步骤均使用默认) 开始安装: 设置root密码和创建一个用户 等待安装完成 2....原创 2019-03-28 18:59:12 · 2424 阅读 · 4 评论 -
HIVE的搭建配置及关联MySQL
概念: Hive是由Facebook实现并开源。是基于Hadoop的一个数据仓库工具,可以将结构化的数据映射为一张数据库表,并提供HQL(Hive SQL)查询功能。其底层数据时存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行,使部署需MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化数据,使用于离线的批量数据计算。 一、下载 前提: 配置好...原创 2019-04-03 20:11:58 · 2092 阅读 · 0 评论