weixin_58202386的博客

一、通过Xftp把Hadoop和jdk的安装包传到Linux 的指定路径 /opt/software/二、安装Hadoop和jdk ,并指定路径 tar -zxvf hadoop安装包名 -C /opt/module/ tar -zxvf jdk 安装包名 -C /opt/module/三、配置Hadoop和jdk cd /etc/profile.d/ sudo vim my_env.sh#JAVA_HO...

1.改IP地址：vim /etc/sysconfig/network-scripts/ifcfg-ens332. 测试是否能联网，以ping百度为例 ping www.baidu.com3.改主机名称vim /etc/hostname4.使用户能够使用sudo命令 vim /etc/sudoers 用户名 ALL=（ALL） NOPASSWD：ALL5.在hosts添加以下代码，来配置主机映射...

HDFS概述：Hadoop Distributed File System 是一个分布式文件系统HDFS架构概述：Name Node (记录数据位置)储存文件元数据，如文件名，文件目录结构，文件属性，以及文件的块列表和所在的Date NodeDate Node：储存文件数据，以及块数据的校验和Second NameNode:每隔一段时间对元数据备份...

一. 概念 二.环境准备 三.Hadoop生产集群搭建 四. 常见问题的解决方法

hadoop fs 命令 or HDFS dfs 命令- move From Local：从本地剪切粘粘到G HDFS- copy From Local 等同于 -put从本地文件系统中拷贝文件到HDFS路径去- appendToFile：追加一个文件到已经存在到文件末尾...

HDFS中的文件在物理上是分块存储块的大小可以通过配置参数来规定默认大小在Hadoop2.x/3.x版本中是128M，1.x中是64M

为解决海量数据存储，需要一种系统管理多台机器的文件。HDFS只是分布式文件系统管理的一种HDFS（Hadoop Distributed File System）它是一个文件系统 ，分布式的适用场景： 适合一次写入，多次读出的场景 ...