- 博客(7)
- 收藏
- 关注
RSS订阅原创 Hadoop伪分布式模式部署
Hadoop2.x：官网：hadoop.apache.org三个组件：HDFS：分布式文件系统，存储MapReduce：分布式计算Yarn：资源（cpu + memory）和JOB调度监控文档地址： http://hadoop.apache.org/docs/r2.8.2/部署方式：1.单机模式（Standalone）：1个Java进程2.伪分布模式（Pseudo-Distribute Mode）：开发|学习 多个Java进程3.集群模式（Cluster Mode）：生产 ...
2021-11-30 21:01:34
151
原创 hdfs解析
1.hdfs的三个进程以ruozedata001机器名称启动[root@ruozedata001 ~]# ifconfigeth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 172.29.171.249 netmask 255.255.240.0 broadcast 172.29.175.255 ether 00:16:3e:21:6f:f8 txqueuelen 1000 (...
2021-11-30 11:34:57
322
原创 yarn的资源调度流程
1.hdfs命令hdfs dfs -linux命令 操作是一样hadoop fs 《==》 hdfs dfs命令2. 查看当前版本 压缩情况[ruoze@ruozedata001 ~]$ hadoop checknative 2021-11-28 14:05:52,092 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native2021-11-28 14.
2021-11-30 11:33:08
1537
原创 hdfs读写流程
1.块dfs.blocksize 默认128m一桶水 1000 ml， 瓶子规格 100ml ==》 10瓶子一桶水 1010 ml， 瓶子规格 100ml ==》 10+1=11瓶子 200ml ==》 5+1 =6瓶子一个小电影 260m1 128m 1 12 128m 2 23 4m-------=3块伪分布式 1 DN节点, 副本数(dfs.replication) 1 : 3个块，实际存储空间是260m*...
2021-11-30 11:31:29
1352
原创 hadoop
1.hadoop广义:以hadoop软件为主的生态圈(sqoop flume spark flink hbase kafka, cdh环境 )狭义: hadoop软件 本身 开源xxx.apache.orghadoop.apache.orgspark.apache.org组件名称大写-数字 ，表明该组件是有问题的SPARK-2908https://issues.apache.org/jira/browse/PHOENIX-4629 官方ERROR地方2.组成hdfs ...
2021-11-30 11:24:21
1249
原创 hadoop基础
Hadoop基础大数据概述Hadoop与Hadoop生态圈Hadoop编译hadoop源代码下载JAVA安装Maven安装Findbugs安装protobuf安装[root@hadoop-01 ~]# cd /opt/software/[root@hadoop-01 software]# rz #上传protobuf-2.5.0.tar.gz# 解压[root@hadoop-01 software]# tar -xzvf protobuf-2.5.0.ta.
2021-11-29 21:11:45
279
原创 linux-常用命令
查阅命令帮助信息目录查阅命令帮助信息-help-man常用Linux命令的基本使用自动补全其它命令查找文件演练目标软链接演练目标硬链接简介（知道）硬链接演练打包压缩打包 ／ 解包压缩／解压缩软件安装通过 apt 安装／卸载软件文件和目录常用命令查看目录内容ls 命令说明Linux 下文件和目录的特点ls 常用选项ls通配符的使用切换目录创建和删除操作拷贝和移动文件tree查看文件内容其他
2021-11-28 21:07:12
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人