![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据hadoop
文章平均质量分 77
龙技术
一篇诗,一斗酒,一曲长歌,一剑天涯
展开
-
Hadoop--Yarn
Hadoop–Yarn 分区和shuffle 分区存了map处理后的数据,该分区数据会交给一个reduce执行后续的数据计算 shuffle是对map的数据进行相应的处理 :分区、排序、合并 map在将数据传递给reduce之前需要需要通shuffle对数据进行提前处理 Yarn的核心服务 resourcemanager 负责管理nodemanager 负责协调整个集群服务的资源分配 所有资源请求都需要交给resourcemanager 单点故障 resourcemanager不参与具体的计算过程,原创 2021-10-14 15:38:45 · 100 阅读 · 0 评论 -
Hadoop--MapReduce和Yarn
Hadoop–MapReduce和Yarn namenode和secondarynamenode通讯过程 namenode会保存元数据 元数据: 文件数据 块数据 datanode数据 在服务运行过程中元数据保存在内存上 使用持久化将元数据保存在磁盘上 secondarynamenode可以帮助namenode将元数据持久化存储到磁盘上 根据存储的方式不同将元数据分为:内存元数据和文件元数据 文件元数据分为两种文件形式 edits 操作日志文件 hdfs oev -i 转化的文件 -o 输出的文原创 2021-10-14 15:38:02 · 138 阅读 · 0 评论 -
hadoop的HDFS
Hadoop的HDFS 历史记录查看 启动历史记录服务 mapred --daemon start historyserver jps ## 拓展 查看端口对应的程序是否启动 lsof -i:端口 web页面访问 9870 hdfs 8088 yarn 19888 历史记录 拓展–DNS解析 202.108.22.5 www.baidu.com 当我们使用域名访问网站时会通过dns服务器将域名转化为ip,最终通ip地址访问网站 本机hosts文件可以完成域名解析工作 windos的hosts文原创 2021-10-14 15:37:19 · 87 阅读 · 0 评论 -
zookeeper和hadoop
zookeeper和hadoop zookeeper操作 连接 zkCli.sh -server 服务名称 查看客户端指令 help ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] s原创 2021-10-14 15:36:32 · 700 阅读 · 0 评论 -
什么是大数据
大数据 什么是大数据 海量数据 文件 mysql 缓存数据 怎么进行大数据处理 hadoop 数据怎么存储 hadoop中的HDFS 数据怎么计算 (增删改查)hadoop中的MR 大数据特点 Volume:数据量大,包括采集、存储和计算的量都非常大; Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据; Value:数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵; Velocity:数据增长速度快,处理速度也快,时效性要求高; Veracity:数据的准确性和可信赖度,即数原创 2021-10-14 15:32:07 · 70 阅读 · 0 评论