大数据-Hadoop
文章平均质量分 75
Hadoop是一个分布式系统基础架构
寧三一
到最后,我没成为至尊宝,也没成为紫霞,而是成为了城墙下的那群人,看着别人的爱情,咀嚼着自己的青春
展开
-
什么是 Kylin (分布式分析引擎)
Kylin什么是Kylin概念Apache Kylin ( Extreme OLAP Engine for Big Data )是一个开源的分布式分析引擎,为 Hadoop等大型分布式数据平台之上的超大规模数据集通过标准 SQL 查询及多维分析( OLAP )功能,提供亚秒级的交互式分析能力。特点它提供 Hadoop 之上的 SQL 查询接口及多维分析( OLAP )能力以支持大规模数据,能够处理 TB 乃至 PB 级别的分析任务,能够在亚秒级查询巨大的Hive 表,并支持高并发。Ky原创 2021-12-14 23:43:05 · 1865 阅读 · 0 评论 -
Hadoop 2.0x:HDFS写入数据宏观和微观流程
HDFS写数据流程宏观流程图解描述写数据就是将客户端的数据上传到HDFS流程1、 客户端向HDFS发送写数据请求hdfs dfs -put user.txt /data/2、 filesystem通过rpc调用namenode的create方法1、 nn首先检查是否有足够的空间权限等条件创建这个文件,或者这个路径是否已经存在,权限1、有:NN会针对这个文件创建一个空的Entry对象,并返回成功状态给DFS2、没有:直接抛出对应的异常,给予客户端错误提示信息原创 2021-11-21 18:16:56 · 1157 阅读 · 0 评论 -
Hadoop集群 手动主备切换 (Active - Standby)
操作描述:手动切换 node01 备用节点 StandbyNameNode 为 主节点 ActiveNameNode,node02为备用节点SNN解决方案:方案一:命令切换查看节点状态hdfs haadmin -getServiceState nn1命令切换节点状态到 hadoop 目录下执行:1、将 NN2 切换为 Standby 备用节点bin/hdfs haadmin -transitionToStandby --forcemanual nn22、将 NN1 切换为 Ac原创 2021-11-20 09:52:14 · 12710 阅读 · 0 评论 -
Hadoop:Browse Directory Couldn‘t upload the file
问题描述Hadoop web 界面无法上传文件原因 HDFS的权限。 HDFS自带权限设置,但控制效力较弱。基本只能防止使用者的误操作,不能抵抗入侵者的破坏。 基本属于:你告诉它你是谁,它就认为你是谁。 思路:所以这里只需要让 HDFS 客户端认为你是root用户即可。解决方案 配置环境变量: 将HADOOP_U...原创 2021-11-08 20:22:48 · 6435 阅读 · 2 评论