- 博客(4)
- 收藏
- 关注
原创 DataNode无法启动的原因
1)现象: #jps 看不到DataNode (2)可能原因: datanode的clusterID 和 namenode的clusterID 不匹配。 (3)解决办法: 找到data和name配置的dir路径,找到hdfs-site.xml文件(cd hadoop-2.6.5/etc/hadoop/) <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- P
2020-11-18 23:15:11 388
原创 Hive 第二天
HIVE的安装部署 1.安装 derby版hive直接使用 1.1:解压hive(一般来说,我们把jar包放在export/servers目录下,可自行定义) 1.2:直接启动 bin/hive 缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一; mysql数据库的安装(使用yum源进行安装,强烈推荐) 1.1:在线安装mysql相关的软件包 yum install mysql mysql-server mysql-devel 1.2:启动mysq
2020-11-16 17:33:51 53
原创 Hive 第一天
Hive Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。 本质 将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据的存储,hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 1.人员学习成本太高 2.项目周期要求太短 3.MapReduce实现复杂查询逻辑开发难度太大 4.操作接口采用类SQL语法,提供快速开发的能力。 5.避免了去写MapRe
2020-11-16 17:10:37 148
原创 Yarn理论第一天
资源管理调度 Yarn Hadoop组成 Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统,对海量数据的存储。 MapReduce:一个分布式的资源调度和离线并行计算框架。 Yarn:基于HDFS,用于作业调度和集群资源管理的框架。 1.Yarn通俗介绍 Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个 通用资源管理系统和调度平台 ,可为上层应用提供统一的资源管理和
2020-11-10 14:56:53 136 1
空空如也
Java导出excel数据最后一行合计
2023-06-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人