大数据hadoop
文章平均质量分 77
龙技术
一篇诗,一斗酒,一曲长歌,一剑天涯
展开
-
Hadoop--Yarn
Hadoop–Yarn分区和shuffle分区存了map处理后的数据,该分区数据会交给一个reduce执行后续的数据计算shuffle是对map的数据进行相应的处理 :分区、排序、合并map在将数据传递给reduce之前需要需要通shuffle对数据进行提前处理Yarn的核心服务resourcemanager负责管理nodemanager负责协调整个集群服务的资源分配所有资源请求都需要交给resourcemanager单点故障resourcemanager不参与具体的计算过程,原创 2021-10-14 15:38:45 · 112 阅读 · 0 评论 -
Hadoop--MapReduce和Yarn
Hadoop–MapReduce和Yarnnamenode和secondarynamenode通讯过程namenode会保存元数据元数据: 文件数据 块数据 datanode数据在服务运行过程中元数据保存在内存上使用持久化将元数据保存在磁盘上secondarynamenode可以帮助namenode将元数据持久化存储到磁盘上根据存储的方式不同将元数据分为:内存元数据和文件元数据文件元数据分为两种文件形式edits 操作日志文件hdfs oev -i 转化的文件 -o 输出的文原创 2021-10-14 15:38:02 · 148 阅读 · 0 评论 -
hadoop的HDFS
Hadoop的HDFS历史记录查看启动历史记录服务mapred --daemon start historyserverjps## 拓展 查看端口对应的程序是否启动lsof -i:端口web页面访问9870 hdfs8088 yarn19888 历史记录拓展–DNS解析202.108.22.5 www.baidu.com当我们使用域名访问网站时会通过dns服务器将域名转化为ip,最终通ip地址访问网站本机hosts文件可以完成域名解析工作windos的hosts文原创 2021-10-14 15:37:19 · 92 阅读 · 0 评论 -
zookeeper和hadoop
zookeeper和hadoopzookeeper操作连接zkCli.sh -server 服务名称查看客户端指令helpZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] s原创 2021-10-14 15:36:32 · 747 阅读 · 0 评论 -
什么是大数据
大数据什么是大数据海量数据 文件 mysql 缓存数据怎么进行大数据处理 hadoop数据怎么存储 hadoop中的HDFS数据怎么计算 (增删改查)hadoop中的MR大数据特点Volume:数据量大,包括采集、存储和计算的量都非常大;Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据;Value:数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵;Velocity:数据增长速度快,处理速度也快,时效性要求高;Veracity:数据的准确性和可信赖度,即数原创 2021-10-14 15:32:07 · 93 阅读 · 0 评论