hadoop
文章平均质量分 83
你拓哥
终身学习,终身受益。
展开
-
Hadoop配置lzo
hadoop配置lzo原创 2022-11-15 10:53:38 · 856 阅读 · 1 评论 -
Hadoop_Hadoop Tips
1. MapReduce在Windows上运行的坑java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决办法:下载winutils.exe(http://public-repo-1.hortonworks.com/hdp-win-alpha/winuti...原创 2020-01-18 16:26:54 · 204 阅读 · 0 评论 -
Hadoop-yarn命令
一. yarn命令[ruoze@rzdata001 ~]$ which yarn~/app/hadoop/bin/yarn[ruoze@rzdata001 ~]$ yarn -help yarn查看帮助[ruoze@rzdata001 ~]$ yarn -helpUsage: yarn [--config confdir] COMMANDwhere COMMAND is one...原创 2019-12-13 22:17:28 · 478 阅读 · 0 评论 -
Hadoop-hdfs命令
一. hdfs命令[ruoze@rzdata001 ~]$ which hdfs~/app/hadoop/bin/hdfs[ruoze@rzdata001 ~]$ hdfs -help hdfs查看帮助[ruoze@rzdata001 ~]$ hdfs -helpUsage: hdfs [--config confdir] COMMAND where COMMAND i...原创 2019-12-13 22:13:01 · 145 阅读 · 1 评论 -
Hadoop-hadoop命令
一. hadoop命令[ruoze@rzdata001 ~]$ which hadoop~/app/hadoop/bin/hadoop[ruoze@rzdata001 ~]$ hadoop --help 查看命令帮助[ruoze@rzdata001 ~]$ hadoop --helpUsage: hadoop [--config confdir] COMMAND w...原创 2019-12-13 22:04:17 · 210 阅读 · 0 评论 -
Hadoop-Yarn参数调优+三种调度器
一. Yarn资源参数调优概念介绍:概念中文称概念英文名解释容器containerYarn中动态资源分配的基本单位,拥有一定的内存及CPU核数物理核pcore服务器上所有物理CPU的核数之和虚拟核vcore设计初衷是考虑不同节点的CPU的性能不一样,每个CPU的计算能力不一样。比如某个物理CPU是另外一个物理CPU的2倍,这时通过设置第一个物理CP...原创 2019-12-12 22:47:57 · 1088 阅读 · 0 评论 -
Hadoop-MapReduce+HDFS文件格式和压缩格式+split和Maptask关系+WordCount剖析+shuffle理解
一. MapReduce on Yarn流程1. 什么是MapReduceMapReduce是一个计算框架,核心思想是"分而治之",表现形式是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output),这个输出就是我们所需要的结果。在运行一个mapreduce计算任务时候,任务过程被分为两个阶段:map阶段和reduce阶段,每...原创 2019-12-11 13:29:17 · 611 阅读 · 1 评论 -
Hadoop副本放置策略+读写流程+磁盘均衡+安全模式+hdfs dfs命令
一. Hdfs副本放置策略假设设置为3个副本:第一个副本: 1) 假如上传节点本身为DN节点,优先放置本节点; 2) 否则就随机挑选一台磁盘不太慢,CPU不太繁忙的节点;第二个副本: 放置在与第一个副本的不同机架的节点上第三个副本: 放置在与第二个副本的相同机架的不同节点上CDH机架有一个默认机架 虚拟的概念,一般不调整这种默认机架二. Client读写流程:站在客户端的角度,读...原创 2019-12-08 19:06:30 · 1499 阅读 · 0 评论 -
Hadoop-块+小文件+hdfs架构+SNN备份流程+更改hdfs存储目录
1. HDFS上默认块大小和副本数1.1 对块的理解hadoop2.x中,hdfs-site.xml中的dfs.blocksize参数表示hdfs的块大小,默认值为134217728(bytes),即128M。它是hdfs存储处理数据的最小单元,可以根据实际需求改变块大小,但是一般不建议这么做。文件参数默认值描述hdfs-site.xmldfs.blocksize...原创 2019-12-03 22:55:36 · 614 阅读 · 0 评论 -
hadoop-yarn+jps+tmp+linux两个机制
一.搭建 yarn伪分布式1、配置参数[ruoze@rzdata001 ~]$ echo $HADOOP_HOME/home/ruoze/app/hadoop[ruoze@rzdata001 ~]$ cd app/hadoop[ruoze@rzdata001 hadoop]$ cd etc/hadoop[ruoze@rzdata001 hadoop]$ cp mapred-site.x...原创 2019-12-01 20:12:29 · 247 阅读 · 0 评论 -
hadoop-版本历史+框架介绍+HDFS部署+以主机名启动
hadoop-简介+hdfs(20191127)原创 2019-12-01 18:29:03 · 201 阅读 · 0 评论