- 博客(4)
- 收藏
- 关注
RSS订阅原创 DataNode无法启动的原因
1）现象： #jps 看不到DataNode （2）可能原因： datanode的clusterID 和 namenode的clusterID 不匹配。 （3）解决办法： 找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/） <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- P
2020-11-18 23:15:11
388
原创 Hive 第二天
HIVE的安装部署 1.安装 derby版hive直接使用 1.1：解压hive（一般来说，我们把jar包放在export/servers目录下，可自行定义） 1.2:直接启动 bin/hive 缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一； mysql数据库的安装（使用yum源进行安装，强烈推荐） 1.1:在线安装mysql相关的软件包 yum install mysql mysql-server mysql-devel 1.2:启动mysq
2020-11-16 17:33:51
53
原创 Hive 第一天
Hive Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 本质 将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 1.人员学习成本太高 2.项目周期要求太短 3.MapReduce实现复杂查询逻辑开发难度太大 4.操作接口采用类SQL语法，提供快速开发的能力。 5.避免了去写MapRe
2020-11-16 17:10:37
148
原创 Yarn理论第一天
资源管理调度 Yarn Hadoop组成 Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。 MapReduce：一个分布式的资源调度和离线并行计算框架。 Yarn：基于HDFS,用于作业调度和集群资源管理的框架。 1.Yarn通俗介绍 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个 通用资源管理系统和调度平台 ，可为上层应用提供统一的资源管理和
2020-11-10 14:56:53
136
1
空空如也
Java导出excel数据最后一行合计
2023-06-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人