![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Stefanboy
工作 技术 java 分享
展开
-
yarn资源调优参数&yarn的调度器&yarn的常用命令
yarn资源调优参数概念介绍container是一个虚拟化的容器,包括memory和vcore两个维度,作用是运行appmaster和task任务物理核pcore服务器上实际的物理CPU的核数虚拟核vcoreyarn引入的一个概念,设计的初衷是考虑到每台服务器的性能不一样,比如某一个物理CPU是另一个物理CPU的两倍,通过设置pcore和vcore来弥补这种差距比如第一台机器CP...原创 2019-12-14 17:53:03 · 1030 阅读 · 2 评论 -
MR架构&文件格式优缺点&压缩格式优缺点&spilt -> map task关系&wordcount&shuffle的理解
MapReduce是什么mapreduce分为map阶段和reduce阶段map阶段是映射 生产上可以对于此进行调优,比如合并小文件reduce阶段是聚合 生产上默认是生成1个文件mr2.x架构设计(mr on yarn 流程)Yarn介绍yarn包括RM和NMRMRM包括两部分1、applications Manager 应用程序管理器2、resoure schedule ...原创 2019-12-10 23:09:05 · 498 阅读 · 1 评论 -
DataNode抛内存溢出oom的error
CDH查看DataNode的内存情况DataNode报错信息2017-12-17 23:58:14,422 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: PacketResponder: BP-1437036909-![img](file:///C:\Users\Administrator\AppData\Roaming\Tenc...原创 2019-12-05 22:44:10 · 1280 阅读 · 0 评论 -
HDFS的副本放置策略&读写流程&pid文件&多节点和单节点磁盘均衡&安全模式&常用命令和设置回收站
HDFS副本放置策略客户端:执行put命令所在的机器称为客户端第一副本假如上传节点为dn节点,优先放置在本节点;否则会随机找一个磁盘不太慢、CPU不太繁忙的节点第二副本放置于第一副本不同的机架上第三副本放置于第二副本的相同机架的不同节点上CDH机架有一个默认的机架,虚拟的概念,CDH一般不调整这种默认机架HDFS的读写流程写流程1、client调用FileSyste...原创 2019-12-05 21:54:52 · 342 阅读 · 0 评论 -
刀片机和机架&块副本数&HDFS架构&块损坏修复&小文件&配置修改存储目录
机架和刀片机块 副本数块的理解存储处理数据的最小单元,其中在hadoop1.x中默认大小为64M,hadoop2.0默认大小为128M,块的大小是由hdfs-site.xml文件中的dfs.blocksize 属性控制dfs.blocksize 134217728(128M) 块大小为什么要设置成128M?(参考其他人的博客)是为了最小化寻址时间,目前磁盘的传输速率普遍是...原创 2019-12-03 11:32:27 · 503 阅读 · 0 评论 -
YARN部署&jps&Linux的oom及过期清理
YARN部署使用yarn伪分布式部署,主从架构切换hadoop用户 [root@JD ~]# su - hadoop Last login: Sun Dec 1 15:09:50 CST 2019 on pts/0配置mapred-site.xml 进入hadoop目录下 [hadoop@JD ~]$ cd app/hadoop/etc/hadoop 修...原创 2019-12-03 11:24:38 · 419 阅读 · 0 评论 -
配置ssh&HDFS部署使用&如何保证数据质量(数据重刷机制)&官网参数
安装配置jdk、hosts、ssh安装配置jdk上传tar.gz包[root@JD /]# cd /usr/java[root@JD java]# lltotal 355840drwxr-xr-x 8 root root 4096 Nov 17 00:24 jdk1.8.0_121-rw-r--r-- 1 root root 191100510 Nov 14 01:25 j...原创 2019-12-03 11:20:57 · 513 阅读 · 0 评论