![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 85
欧冶渃
这个作者很懒,什么都没留下…
展开
-
大数据-Hadoop(HDFS-2)
1.HDFS的数据流HDFS写数据流程剖析文件写入(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收原创 2022-02-03 15:52:01 · 88 阅读 · 0 评论 -
大数据-Hadoop(HDFS-1)
1 HDFS产出背景2. HDFS优缺点3 .HDFS组成架构4.HDFS文件块大小(面试重点)5.HDFS的Shell操作(开发重点)5.1基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令两个是完全相同的。5.2查看命令大全hdfs dfs df -h5.3Hadoop fs 常用命令分类本地推送到HDFS将LICENSE.txt,推送到HDFS上hdfs dfs...原创 2022-02-02 23:42:55 · 1781 阅读 · 0 评论 -
大数据-Hadoop(环境搭建)
1 虚拟机环境准备1.1准备三台虚拟机,虚拟机配置要求如下:(1)单台虚拟机:内存4G,硬盘50G,安装必要环境sudoyum install -y epel-releasesudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static treeiotop git1.2修改克隆虚拟机的静态IPsudo vim /etc/sysconfig/network-scripts/...原创 2022-02-01 20:04:15 · 2976 阅读 · 0 评论 -
大数据-Hadoop(虚拟机安装)
1.安装虚拟机1.2.新建虚拟机,如图1-17所示1.2.新建虚拟机向导,如图1-18所示图1-18 新建虚拟机向导1.3.创建虚拟空白光盘,如图1-19所示1.4.安装Linux系统对应的CentOS版,如图1-20所示1.5.虚拟机命名和定位磁盘位置,如图1-21所示1.6.处理器配置,看自己是否是双核、多核1.7.设置内存为2GB1.8.网络设置NAT1.9.选择IO控制器类型1.10.选择磁盘类型1.11...原创 2022-01-29 20:52:50 · 2989 阅读 · 0 评论