![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
从零搭建Hadoop
文章平均质量分 76
Marson丶
这个作者很懒,什么都没留下…
展开
-
从零搭建Hadoop——6.安装spark
文章目录前言1.上传安装包到centos012.解压3.重命名4.修改文件4.1 workers4.2 spark-env.sh5.配置环境变量6.修改~/.bashrc7.复制到其他节点8.启动总结前言本教程在前面教程的基础上安装spark Standalone模式。spark安装包在正文。如有错误,恳请兄弟姐妹们批评指正。1.上传安装包到centos01安装包如下,版本是3.1.2链接:https://pan.baidu.com/s/1tUQREjzVzhbod22oFLYHpQ提取码:9原创 2021-08-07 15:17:11 · 206 阅读 · 0 评论 -
从零搭建Hadoop——5.安装hbase
文章目录前言1.上传安装包到centos2.解压3.重命名4.配置环境变量5.修改/.bashrc6.修改配置文件6.1 hbase-env.sh6.2 hbase-site.xml6.3 regionservers7.复制到其他节点8.启动9.查看进程10.Web窗口总结前言本教程在前面教程的基础上安装集群模式的hbase,hbase依赖于Hadoop和zookeeper,所以需要提前安装好这两个,详情请看前面的教程。如有错误,恳请兄弟姐妹们批评指正。1.上传安装包到centos安装包如下,版本原创 2021-08-07 15:03:12 · 349 阅读 · 0 评论 -
从零搭建Hadoop——4.安装zookeeper
文章目录前言1.上传安装包到centos2.解压3.重命名4.新建文件夹5.新建文件并添加内容5.1 zoo.cfg5.2 myid6.配置环境变量7.修改/.bashrc8.复制到其他节点9.修改其他节点10.启动11.查看状态总结前言本教程在前面教程的基础上搭建集群模式的zookeeper,需要的zookeeper安装包和配置文件在正文。如有错误,恳请兄弟姐妹们批评指正。1.上传安装包到centos安装包如下,版本为3.4.10链接:https://pan.baidu.com/s/1nnXn原创 2021-08-07 14:42:45 · 341 阅读 · 0 评论 -
从零搭建Hadoop——3.安装Hadoop
文章目录前言一、配置无密钥登录1.生成密钥文件2.将公钥信息复制到授权文件3.添加权限4.测试二、安装Hadoop1.上传安装包2.解压3.重命名4.配置系统变量4.1 配置4.2 测试5.修改~/.bashrc6.配置Hadoop环境变量7.配置HDFS7.1 core-site.xml7.2 hdfs-site.xml7.3 workers8.配置YARN8.1 mapred-site.xml8.2 yarn-site.xml9.复制到其他节点10.格式化NameNode11.启动Hadoop12.测试原创 2021-08-07 14:13:12 · 621 阅读 · 0 评论 -
从零搭建Hadoop——2.centos集群环境变量配置
一、系统环境配置1.修改hadoop用户权限我们使用的是hadoop用户,为了得到与root用户一样的权限,从而在使用一些命令时只需要在命令前面加sudo,而不需要切换到root用户,于是我们给hadoop用户添加权限1.1 切换到root用户1.2 修改sudoer文件1.3 添加以下内容1.4 退出登录2.关闭防火墙如果开启防火墙,集群节点通信时会受到干扰,因此我们把防火墙关闭2.1 关闭防火墙2.2 禁止防火墙开机启动3.设置固定IP如果IP地址不固定,后期万一IP原创 2021-08-07 12:54:05 · 709 阅读 · 0 评论 -
从零搭建Hadoop——1.安装CentOS
前言本教程适合Hadoop小白,但是需要有一定的Linux基础。能力有限,如有不正确的地方还请批评指正,谢谢兄弟姐妹们~一、下载镜像文件我们使用的是centos7,兄弟姐妹们可以去官网下载或者中文镜像网站下载,也可以用我的镜像文件。链接:https://pan.baidu.com/s/1FaQ0QRkvomyf297A038Knw提取码:9870二、新建虚拟机点击文件 > 新建虚拟机 或者 直接点击新建虚拟机典型(推荐) > 下一步稍后安装操作系统 > 下一原创 2021-08-07 11:19:39 · 541 阅读 · 0 评论