大数据
文章平均质量分 76
大数据东哥(Aidon)
这个作者很懒,什么都没留下…
展开
-
Spark SQL的生命旅程之底层解析
Spark SQL语句是如何被解析的?Spark SQL是如何转换为代码被机器执行的?Spark SQL从逻辑计划到物理计划的转换经历了怎样的优化?Antlr4强大语法解析生成器做什么?原创 2023-01-31 09:29:54 · 376 阅读 · 0 评论 -
Spark 数据倾斜调优10策
Spark 数据倾斜调优。何谓数据倾斜?数据倾斜指的是并行处理的数据集中,某一部分(如Spark或Kafka的一个Partition)的数据显著多于其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈。原创 2022-12-05 19:00:56 · 600 阅读 · 0 评论 -
Spark Catalyst 查询优化器原理
Catalyst本质就是一个SQL查询的优化器,而且和大多数当前的大数据SQL处理引擎设计基本相同(Impala、Presto、Hive(Calcite)等)。了解Catalyst的SQL优化流程,也就基本了解了所有其他SQL处理引擎的工作原理。原创 2022-12-01 21:20:24 · 388 阅读 · 0 评论 -
hadoop job 的container日志的查看
一般有几个地方可以查看:1、通过本地日志目录查看对应container日志文件,默认在hadoop的安装目录下的/logs/userlogs/:直接用查看文件命令查看即可该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地,然后再给聚合到文件系统中(配置聚合日志功能)。2、浏览器查看,默认在/yarn/logs/${user}/logs:需要找对应的applicationId,甚...原创 2018-04-11 16:19:22 · 24175 阅读 · 0 评论 -
hadoop的日志详解
本文部分资料转自 Hadoop日志存放路径详解 本文部分资料转自 Hadoop历史服务器详解 本文部分资料转自 董的博客:Hadoop 2.0中作业日志收集原理以及配置方法一 Hadoop 日志存放路径详解1 Hadoop系统服务输出的日志2 配置 Hadoop 系统服务日志二 历史服务器 JobHistory Server1 历史服务器配置2 关于 HA 模式下的历史服务器配置的结论3 启动历史...转载 2018-04-11 14:49:52 · 18823 阅读 · 0 评论 -
oozie的简单案例
1、fs的action:================job.properties的内容如下:nameNode=hdfs://hadoop007:9000jobTracker=hadoop007:8032queueName=defaultexamplesRoot=fsoozie.wf.application.path=${nameNode}/user/${user原创 2018-01-22 00:07:15 · 1883 阅读 · 0 评论 -
oozie 概要
oozie相关概念介绍: Oozie is a workflow scheduler system to manage Apache Hadoop jobs.Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.Oozie Coordinator jobs are转载 2018-01-22 00:00:21 · 904 阅读 · 0 评论 -
oozie 4.3.0 编译安装
Oozie的编译:系统需求:Unix box (tested on Mac OS X and Linux)Java JDK 1.7+Maven 3.0.1+Hadoop 0.20.2+Pig 0.7+ JDK commands (java, javac) must be in the command path.The Maven command (mvn) mu原创 2018-01-21 23:24:10 · 2432 阅读 · 2 评论 -
cms cdh 5.3.x 升级成HA的配置
cms cdh 升级成HA的配置 CDH的HA的安装和配置 CDH 5.3.x的HA的搭建原创 2017-12-27 16:04:37 · 633 阅读 · 0 评论 -
Hadoop平台关闭THP解决服务器高负载问题
Hadoop平台关闭THP解决服务器高负载问题,Ambari和CM管理平台都提示,建议关闭THP.转载 2017-11-25 10:39:29 · 861 阅读 · 0 评论 -
centos 6.5 cms 5.3.6 cdh 5.3.6 安装
centos cms cdh 离线安装centos cms cdh 离线安装centos cms cdh 离线安装原创 2017-12-20 23:49:31 · 2286 阅读 · 2 评论 -
大数据面试一些问题
大数据面试题原创 2017-09-04 14:15:09 · 964 阅读 · 0 评论 -
hadoop hdfs存储原理
hadoop的hdfs存储原理,hdfs的存储原理,hdfs的底层存储原理转载 2017-08-25 10:19:43 · 1551 阅读 · 0 评论 -
Name node is in safe mode
Name node is in safe mode.The reported blocks原创 2017-03-14 20:31:33 · 667 阅读 · 0 评论