![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 50
小维_
这个作者很懒,什么都没留下…
展开
-
Linux操作系统中安装JDK环境
https://blog.csdn.net/qq_38633279/article/details/105802279原创 2021-12-16 19:36:36 · 913 阅读 · 0 评论 -
问题点3--Hadoop无法上传文件
Hadoop无法上传文件[hadoop@data001 ~]$ hdfs dfs -mkdir -p /data1提示错误:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因:在网上查,在hadoop/lib/native中自己安装的hadoop版本没有glic,解决方法:下载,h原创 2020-07-16 18:06:04 · 753 阅读 · 0 评论 -
Hadoop知识点(六)-YARN参数优化
参数调优1.生产如何调优container参数?1.2生产如何设置 突破口1.3整合memory cpu2.YARN资源调度器2.1FIFO Scheduler 先进先出(相当于队列)2.2Capacity Scheduler 调度器2.3Fair Scheduler 生产上应用Container关于yarn的调优,就是调container虚拟化的是内存+cpu的vcores组成的,是运行task任务的1.生产如何调优container参数?生产预留空间原因:1.oom-kill机制2原创 2020-05-21 22:38:11 · 376 阅读 · 0 评论 -
Hadoop知识点(五)-MapReduce
MapReduce大数据计算大数据计算包含内存+CPU的vcore,其中大数据占内存的75%,系统存留25%原创 2020-05-21 20:21:35 · 141 阅读 · 0 评论 -
Hadoop知识点(四)-HDFS
HDFS1.snn流程2.Hadoop fs 指令操作2.1查看文件(ls)2.2Hadoop文件下载到Hadoop2.3查看文件大小(du)2.4其他(生产中应用最多的)3.hdfs指令操作3.1安全模式3.2各节点3.3单个dn的多块磁盘的数据平衡1.snn流程**fsimage:**在nn启动是对整个文件系统的快照。作用:就是Hadoop文件系统元数据的一个永久的检查点,其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息。editlog: nn启动后,对文件系统的系列操作,原创 2020-05-21 16:03:20 · 203 阅读 · 0 评论 -
Hadoop知识点(三)-HDFS进程
HDFS进程1.NameNode #名称节点 nn2.DataNode #数据节点 dn3.Secondary NameNode #第二名称节点 snn4.HDFS写流程5.HDFS读流程5.HDFS副本策略HDFS有3个组件,有3个进程来维护是一种主从架构:主节点负责管理,从节点负责做事情,这种称为主从架构,大数据的很多组件都是主从架构、HDFS有3个角色的进程:1>NameNode #名称节点 nn2>SecondaryNameNode #第二名称原创 2020-05-20 20:47:49 · 2918 阅读 · 0 评论 -
Hadoop知识点(二)-Hadoop伪分布式安装
hadoop广义上称为hadoop生态圈,其中包含多个组件,狭义上称为hadoop。其中hadoop包含三个主要的组成部分。分别是:HDFS:用于数据的存储,MapReduce:用于数据的计算,yarn:用于资源和作业的分配和调度。原创 2020-05-20 10:49:27 · 355 阅读 · 0 评论 -
win中IDEA远程连接linux中的hadoop出现错误解决方法
win中IDEA远程连接linux中的hadoop出现错误解决方法win中安装hadoopwin中安装hadoop因为使用的是hadoop2.7.6,所有下载hadoop2.7.6所需要的bin文件1.解压centos中的hadoop到相应的位置2.配置环境变量添加:HADOOP_BIN_PATH : %HADOOP_HOME%\binHADOOP_HOME : G:\hadoop-2.7.6HADOOP_PREFIX : %HADOOP_HOME%新增:CLASSPA原创 2020-05-17 10:50:09 · 554 阅读 · 0 评论 -
Hadoop知识点(一)-Hadoop完全分布式安装
Hadoop知识点(20202-5-6)1.概述1.1软连接2.hdfs安装2.1SSH免密登录2.2Hadoop完全分布式安装2.3节点管理1.概述广义:以Apache hadoop软件为主的生态圈,也包含hive,sqoop,hbase,kafka,spark,flink狭义:以Apache hadoop软件Hadoop包括三个部分:hdfs:用于存储mapreduce:用于计算...原创 2020-05-07 18:10:50 · 215 阅读 · 0 评论