![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据环境搭建
mameng1998
学习是前进的唯一动力
展开
-
HDFS中的概念解析
1 HDFS block块 HDFS3.x上的文件,以128M(不足128M的以实际大小存储)为单位,切分成一个个block,分散的存储在集群的不同数据节点datanode上 采用的是3副本技术 设置指定文件(例如:test)副本数 hdfs dfs -setrep -R 4 /test 查看文件的块信息 hdfs fsck /test -files -blocks -loc...原创 2019-12-05 21:26:43 · 404 阅读 · 0 评论 -
使用VMware安装centos7并配置虚拟机网络
创建虚拟机的过程,这里不再赘述,详见:我的另一篇博客 。 配置虚拟机网络 1 打开虚拟机网络编辑器 点击编辑---->虚拟网络编辑器,出现下面的菜单: 点击上图中的“更改设置”,出现的弹框点击“确定”或“是”即可。 2 设置虚拟网络和子网 点击上图中的“NAT设置”,出现如下截图: 注意上图中网关IP的最后一位数字不能是1。点击确定即可。 3 设置虚拟机网络 右击下图中的“BaseCe...转载 2019-11-24 23:33:35 · 691 阅读 · 0 评论 -
Centos7上配置jdk
1、首先将下载好的jdk的jar包上传自己选定的目录,然后执行解压命令: tar -zxvf jdk-8u231-linux-x64.tar.gz 2、然后在~目录下找到.bash_profile(ll -a 查看),执行如下命令: vi .bash_profile 把下面的内容写到上述文件中: JAVA_HOME=/opt/software/jdk1.8.0_231 PATH=$PATH:$...原创 2019-11-29 13:28:02 · 167 阅读 · 0 评论 -
Hadoop三节点集群搭建
免密登录 3个节点分别执行以下命令,获取密钥 ssh-keygen -t rsa 在node001节点上做示范,以下的命令需要在所有节点上执行一遍 ssh-copy-id -i node002 ssh-copy-id -i node003 配置文件 1 core-site.xml <configuration> <!-- 指定hdfs的namenode主机的hostname--...转载 2019-11-17 23:03:02 · 368 阅读 · 0 评论