大数据
文章平均质量分 93
程序猿阿杰
岂关名利分荣路, 自有才华作庆霄
展开
-
大数据之Hive
文章目录Hive的基本了解1.什么是Hive2.为什么要使用Hive3.Hive的特点4.Hive架构图5.Hive与Hadoop的关系Hive的安装部署1.derby版hive直接使用2.基于mysql管理元数据版hive外部表操作案例Hive的基本了解1.什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。2.为什么要使用Hive操作接口采用类SQL语法,提供快速开发的能力。避免了去写MapReduc原创 2022-01-13 18:30:19 · 912 阅读 · 0 评论 -
Hadoop的三大组件的描述和操作
文章目录HDFS(分布式文件存储系统)NameNode与Datanode的总结概述3.1.namenode 元数据管理3.2.Datanode 数据存储HDFS的架构图HDFS的执行过程HDFS的文件读取过程HDFS基本Shell操作HDFS的api操作Mapreduce(分布式计算组件)yarn(资源调度管理器)HDFS(分布式文件存储系统)NameNode与Datanode的总结概述HDFS有主节点(namenode)和从节点(datanode)3.1.namenode 元数据管理我们把描述原创 2022-01-12 16:05:09 · 585 阅读 · 0 评论 -
大数据之Hadoop
文章目录什么是大数据概念特点集群环境准备准备虚拟机修改为静态IP配置文件重启网络查看IP关闭防火墙(只执行上面)修改主机名修改hosts文件三台机器重启设置免密登录1.三台机器生成公钥与私钥2.拷贝公钥到同一台机器3.复制第一台机器的认证到其他机器4.测试什么是大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产(资源)。简单来说大数据就是海量数据及其处原创 2022-01-11 12:00:13 · 1062 阅读 · 0 评论