hadoop问题
1
吃再多糖也不长胖
大数据毕业的渣渣
展开
-
如何在一亿数据中找到最大的TOP N
如何在一亿数据中找到最大的TOP N原创 2022-08-12 17:10:04 · 768 阅读 · 0 评论 -
Mkdirs failed to create file:/movie_data/links/_temporary/0/_temporary/attempt_20211205120601_0003_
上一次的集群没有做镜像备份,然后出问题了,重建集群的时候跑job出现这个问题,spark job无法创建hdfs的目录。试过给总目录赋权限发现还是不行后来觉得应该是spark创建hdfs创建文件跟查询文件用的应该不是一个配置啥的,就把hadoop的配置文件hdfs-site.xml 和core-site.xml复制到了spark的conf目录下,结果就可以了问题:java.io.IOException: Mkdirs failed to create file:/movie_data/links/原创 2021-12-05 12:18:37 · 1899 阅读 · 0 评论 -
Hadoop面试题
Hadoop面试题1.HDFS体系架构2.一个datanode宕机,怎么一个流程恢复3.hadoop 的 namenode 宕机,怎么解决4.namenode对元数据的管理5.hadoop中combiner和partition的作用6.用mapreduce怎么处理数据倾斜问题7.shuffle 阶段,你怎么理解的8.Mapreduce 的 map 数量 和 reduce 数量是由什么决定的 ,怎么配9.MapReduce优化经验10.分别举例什么情况要使用 combiner,什么情况不使用?11.简单描述一原创 2021-11-18 12:00:16 · 1559 阅读 · 0 评论 -
ls: 无法访问/xxx/spark/lib/spark-assembly-*.jar: 没有那个文件或目录
查了资料好像是spark 1.6版本后面都不用这个大jar包了,取消了,所以找不到,修改hive目录下的bin/hive vi /xxx/hive/bin/hive注释这几行就可以了。 # add Spark assembly jar to the classpath #if [[ -n "$SPARK_HOME" ]] #then # sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`原创 2021-11-17 23:42:52 · 791 阅读 · 0 评论 -
Hadoop-总览
Hadoop一、什么是hadoop1.什么是hadoop2.hadoop 产生背景3.生态圈4.集群搭建:二、常见命令三、HDFS3.1HDFS构成3.2概述3.3 NameNode工作机制3.3.1 职责:3.3.2 NameNode中元数据的存储形式:3.3.4 NameNode写数据3.3.5 NameNode读数据3.4 Secondary NameNode 工作机制3.4.1 Secondary NameNode3.4.2 Secondary NameNode3.4.3 checkpoint流程3原创 2021-11-17 17:54:46 · 457 阅读 · 0 评论 -
复习之Hadoop--hdfs复习
Hadoop复习1--hdfsHadoopHadoop是什么Hadoop主要解决问题Hadoop的优势Hadoop的版本1.x和2.x区别hdfshdfs--1组件hdfs--2文件系统命名空间hdfs--3 块hdfs--4数据块的机架放置hdfs--5 副本的选择hdfs--6架构的稳定性1. 心跳机制和重新复制2.数据的完整性3.元数据的磁盘故障4.支持快照hdfs--7 hdfs的特点1...转载 2020-03-25 01:30:02 · 299 阅读 · 0 评论 -
ha模式下standby 节点会做check point
Cannot use SecondaryNameNode in an HA cluster. The Standby Namenode will perform checkpointingha模式下standby 节点会做check point新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能原创 2021-11-17 15:19:29 · 220 阅读 · 0 评论