大数据
文章平均质量分 93
冬乏
大家好~我是Java大家族中最菜小白菜本菜。希望各位巨巨能多多指教~~
展开
-
Hive简介
文章目录1.Hive简介1.1什么是Hive1.2为什么使用Hive1.3Hive的特点1.4Hive架构图1.5Hive与Hadoop的关系1.6Hive与传统数据库对比HIVE的安装部署derby版hive直接使用1、解压hive2.修改目录名称3.初始化元数据库4.启动4.1进入hive5.创建数据库6.创建表7.插入数据8.可能遇到的问题9.Hive启动报错Safe mode2.基于mysql管理元数据版hive1、解压hive2.修改目录名称3.检测服务器mysql数据库4.配置mysql允许外网原创 2021-11-15 16:19:51 · 1515 阅读 · 0 评论 -
yarn资源调度
文章目录yarn集群的监控管理界面Yarn介绍yarn当中的调度器介绍:第一种调度器:FIFO Scheduler (队列调度器)第二种调度器:capacity scheduler(容量调度器,apache版本默认使用的调度器)第三种调度器:Fair Scheduler(公平调度器,CDH版本的hadoop默认使用的调度器)yarn集群的监控管理界面http://192.168.65.101:8088/clusterYarn介绍yarn是hadoop集群当中的资源管理系统模块,从hadoop2.原创 2021-11-15 11:07:23 · 1386 阅读 · 0 评论 -
MapReduce
文章目录2.MapReduce介绍1.理解MapReduce思想2.Hadoop MapReduce设计构思3.MapReduce编程规范及示例编写编程规范Map阶段2个步骤shuffle阶段4个步骤(了解,可以全部不用管)reduce阶段2个步骤4.WordCount实例4.1准备数据并上传4.2测试官方案例4.3定义一个mapper类4.4定义一个reducer类4.5定义一个主类,并提交job5.hadoop中分片3.Yarn资源调度1.yarn集群的监控管理界面:2.Yarn介绍3.yarn当中的调原创 2021-11-12 16:43:35 · 466 阅读 · 0 评论 -
HDFS框架
文章目录1.分布式文件系统HDFS1.HDFS的来源2.HDFS的架构图之基础架构2.1 master/slave 架构2.2 名字空间(NameSpace)2.3 文件操作2.4副本机制2.5心跳机制2.6 一次写入,多次读出3.NameNode与Datanode的总结概述3.1namenode 元数据管理3.2 Datanode 数据存储4.文件副本机制以及block块存储5.元文件FSImage与edits6、HDFS的文件写入过程7、HDFS的文件读取过程8.HDFS基本Shell操作9.HDFS的原创 2021-11-12 16:41:57 · 1930 阅读 · 0 评论 -
Hadoop框架
文章目录大数据Hadoop框架Hadoop介绍hadoop的核心组件Hadoop 的安装有三种方式伪分布式布置修改配置文件1. 修改hadoop-env.sh2. 修改 core-site.xml3. 修改 hdfs-site.xml4. 修改 mapred-site.xml5. 修改 yarn-site.xml6. 修改slaves7. 配置hadoop的环境变量启动1. 初始化2. 启动3. 测试4. 访问浏览器5. 停止6. 停止服务7. 如果没有安装成功上传文件到hadoop01:50070大数据原创 2021-11-11 17:49:05 · 1607 阅读 · 0 评论