![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 78
1244497026
这个作者很懒,什么都没留下…
展开
-
Hive安装部署
Hive安装部署1、主机分配Node内存大小(G)ipApplications系统JDKhadoop014192.168.159.128NameNode、DataNode、ResourceManager、NodeManager、Zookeeper、MySQLCentOS7jdk1.8.0_144hadoop024192.168.159.129SecondaryNameNode、DataNode、NodeManager、Zookeeper、HiveCen原创 2021-12-05 23:01:37 · 2223 阅读 · 0 评论 -
zookeeper集群安装
zookeeper集群安装1、安装包准备https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz下载完后存放至目录/root/softwares2、zookeeper安装2,1、解压至指定目录tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/2.2、文件重命名cd /usr/local/mv zookeeper-3.4.10 zookee原创 2021-12-04 15:15:56 · 317 阅读 · 0 评论 -
HDFS工作原理
HDFS工作原理1、NameNode 和 DataNode HDFS采用master/slave架构。一个HDFS集群是由一个NameNode和一定数目的DataNode组成。NameNode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的DataNode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。 从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组DataN原创 2021-12-02 15:34:36 · 1637 阅读 · 0 评论 -
java操作HDFS
1、windows环境准备https://download.csdn.net/download/qq_25863973/513454252、maven依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.6</version></dep原创 2021-11-28 19:43:02 · 183 阅读 · 0 评论 -
Hadoop集群安装
Hadoop集群安装1、准备工作1、三台机器的防火墙必须是关闭的2、确保三台机器的网络配置正常(NAT模式、静态IP、主机名的配置)3、确保/etc/hosts文件配置了IP和hosts的映射关系4、确保配置了三台机器的免密登录认证5、确保所有机器时间同步6、JDK和hadoop的环境配置(JDK安装步骤省略)注:没有特殊说明,所有配置hadoop01、hadoop02、hadoop03都执行1.1、主机分配Node内存大小(G)ipApplications系统JDK原创 2021-11-28 19:21:31 · 1543 阅读 · 1 评论