安装hadoop集群模拟大数据集群踩到的坑（一）

最新推荐文章于 2024-04-23 16:52:13 发布
最新推荐文章于 2024-04-23 16:52:13 发布
阅读量630 收藏
点赞数 2
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33182045/article/details/118788994
版权

1.安装虚拟机

使用VMWARE安装虚拟机CentOS7时候踩到的第一个坑，当安装完毕CentOS7的时候，使用vmware workstation pro 14进行启动虚拟机，win10系统有概率蓝屏重启报错，这时候就需要更新到更高版本的VMware workstation pro 16进行安装，因为这是兼容性问题，升级到16之后就没有蓝屏问题。

2.布置虚拟环境

参考本人最早的一篇centos7最小化安装开始，几年前写的文档帮我填了坑

最小化安装centos7开始

紧接着测试是否能连通DNS

#ping www.baidu.com

发现没办法ping通，然后ping 公网服务器IP，发现可以ping通，就知道是DNS的问题，在/etc/sysconfig/network-scripts/ifcfg-ens33(这是网卡的驱动脚本，根据自己实际情况进行修改)文件中修改获取IP方式和DNS地址

#vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后我改成了这样
 


TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static #修改为静态IP
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b8f3e8d2-5fdc-4261-a740-111272b77e0f
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.153.129#修改为静态IP指定地址
NETMASK=255.255.255.0#子网掩码
GATEWAY=192.168.153.2#网关
DNS1=8.8.8.8#DNS服务器

紧接着重启network

#service network restart

再ping一下百度，成功。

3.安装wget 和更改国内镜像源mirror163

#yum install wget

下载repo文件 

#wget http://mirrors.163.com/.help/CentOS7-Base-163.repo

备份并替换系统的repo文件 

#cp CentOS7-Base-163.repo /etc/yum.repos.d/ 

#cd /etc/yum.repos.d/ 

#mv CentOS-Base.repo CentOS-Base.repo.bak 

#mv CentOS7-Base-163.repo CentOS-Base.repo

执行yum源更新命令 

#yum clean all 

#yum makecache 

#yum update

这个时候已经更改为国内的镜像YUM源，可以放心食用。

紧接着我们安装JDK

4.jdk与hadoop

首先我们查找对应的hadoop版本,我这里安装的是hadoop 2.10.1

官网指路：hadoop官网

然后下载hadoop二进制文件到虚拟机当中，推荐http浏览器下载或者迅雷下载之后通过xftp之类的传输文件到虚拟机当中，然后进行解压缩

#tar -zxvf hadoop-2.10.1.tar.gz

因为hadoop依赖于java jdk，所以我们需要安装jdk,2.10.1的hadoop需要1.17以上的jdk

#yum search jdk

得到如下结果

果断选择1.18版本jdk

 #yum install  java-1.8.0-openjdk.x86_64

安装完毕之后验证java版本

#java -version

如果正确显示版本就安装成功

紧接着我们安装hadoop,我这里不赘述了

参考文档：CentOS安装hadoop

这里有坑，需要修改三个地方，第一个地方是hadoop文件夹下的脚本

#vi hadoop-env.sh 

这里需要把java_home写清楚

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64

怎么写清楚呢？

which java
/usr/bin/java
$ ls -l /usr/bin/java 
lrwxrwxrwx. 1 root root 22 7月  16 11:38 /usr/bin/java -> /etc/alternatives/java
$ ls -l /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 7月  16 11:38 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java
最后那一长串才是jdk的目录

然后我们还要修改

#sudo vi /etc/profile

添加如下内容

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存，初始化hadoop，这时候才成功

如果上述情况无法完成JDK环境配置的话，可以前往Oracle官网进行LINUX的JDK下载，然后解压缩后配置到java_home里面

JDK_原版下载

下载完之后放在download文件夹中，进行解压缩

#tar -zxvf jdk-16.0.1.tar.gz

#mv jdk-16.0.1 /usr/lib/jvm/

移动到这个位置，将JAVA_HOME设置为这个路径也能JAVA运行成功，最后初始化的界面如图所示

 好了，到这里集群已经安装成功了！

 

 

blind_mokey
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux查询一个已经安装的文件属于哪个软件包
01-18
linux查询一个已经安装的文件属于哪个软件包
linux如何查看软件装在哪,Linux下如何查看某个软件是否安装？软件的安装路径又在哪？...
weixin_34561373的博客
05-08 916
我的系统是red hat我用命令rpm查是否安装了某个软件(例如： matlab 与 fluent )，得到了如下的结果：我用rpm -qa (| grep) matlab , 回车后没有任何显示我用rpm -qa fluent , 回车后没有任何显示我用rpm -qa vasp , 回车后没有任何显示但实际上肯定是装了matlab和fluent ， 而我用[root@node1 /]# rpm ...
在Ubuntu中安装CP-ABE
Allen_Yan1234的博客
08-05 425
在Ubuntu中安装CP-ABE 本人最近在看相关文献，可能涉及到毕业设计，所以打算提前安装一下CP-ABE，找了一些方法，大都是在Linux系统下安装的，所以本人安装了一个虚拟机，用来实验。 https://www.cnblogs.com/jdbc-mydql/p/8087708.html 这篇文章的作者已经讲过程写的十分详实了，大家可以参考。 另外指出我按照步骤操作的时候，发现的几个小问题，用以提醒大家。 首先解压的文件夹需要大家先创建好，而且注意他这里是创建在根目录下面的，小白按照此程序操作的时候
CP-ABE环境配置
骑着乌云看雪
06-14 553
两篇第一篇第二篇 第一篇 本环境配置步骤参考互联网： 1、安装m4 sudo apt-get install m4 2、安装gmp http://gmplib.org/ 下载gmplib ./configure make make check sudo make install 3、安装pbc http://crypto.stanford.edu/pbc/download.html 下载pbc 解压，安装 ./configure 出现 flex not found 执行 sudo apt-get in
Ubuntu下CP-ABE的使用
Allen_Yan1234的博客
08-06 1069
Ubuntu下CP-ABE的使用 在上篇中，已经完成了在Ubuntu下CP-ABE的安装，这篇简单记录一下使用方法。 本人参考的是这篇文章： https://blog.csdn.net/hlsdbd1990/article/details/48291359 大家也可以直接参考官网：http://acsc.cs.utexas.edu/cpabe/tutorial.html 如果小伙伴是按照我上篇分享的文章里的步骤来的话，libbswabe库就可以忽略啦，因为已经安装过啦~ 后面的部分大家按照上述两个链接里的步
教你玩转Hadoop分布式集群搭建，进击大数据
01-27
本文来自于51cto，这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这...
Hadoop下水环境模拟集群运算模式
01-20
水环境数值模型是模拟、分析及预测水体中物质迁移转化过程...探索了水环境数值模型在大数据分布式计算框架下的适应性，提出了一种适用于水环境模拟的大数据分布式集群运算模式，并通过实例验证了该运算模式的可行性。
大数据hapdoop安装完整实验报告（包含结果图）
05-17
1.掌握Linux虚拟机安装方法或者双操作系统安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能，鉴于目前...需要在一台机器上模拟一个小的集群，因此，需要通过本实验掌握在单机上进行Hadoop的伪分布式安装方法。
大数据技术之新能源汽车数仓 视频教程 下载
07-21
01_新能源汽车课程介绍.mp4 02_新能源汽车数仓概述.mp4 03_数仓需求介绍及框架选择.mp4 ...23_采集数据模拟生成展示.mp4 24_日志采集架构及组件选择.mp4 25_采集日志flume的配置文件编写.mp4 26_
基于Hadoop豆瓣电影数据分析实验报告
06-16
针对本次实验，我们需要用到Hadoop集群作为模拟大数据的分析软件，集群环境必须要包括，hdfs，hbase，hive，flume，sqoop等插件，最后结合分析出来的数据进行可视化展示，需要用到Python（爬取数据集，可视化展示）...
CP_ABE.rar
09-27
利用VS2017.C++，通过Miracl大数库，基于SM9的双线性映射实现Waters所提CP-ABE属性加密算法，同时新增其对应的策略更新算法。内部有部分小BUG未能完全修复，不过不影响加解密的效果模拟。内附相关文献，欢迎探讨研究。
cpabe实现代码及使用说明
05-18
该代码源自伯克利大学（http://acsc.cs.utexas.edu/cpabe/），里面总共由两个文件夹组成，首先需要编译lib文件夹下的内容，然后是cpabe文件夹。
64位Ubuntu14.04下配置CP-ABE环境
会飞的野码的博客
06-16 4101
CP-ABE环境配置 本文密码学专业，论文仿真需要CP-ABE，现将配置过程作个记录 cpabe依赖pbc，pbc依赖gmp，gmp依赖M4、bison、flex，所以。。 sudo apt-get M4 sudo apt-get flex sudo apt-get bison 1  安装gmp 下载https://gmplib.org/ lzip -d gmp-6.1
64位Ubuntu下配置CP-ABE环境
asdfrt8686的博客
12-26 687
CP-ABE环境配置 本文密码学专业，论文仿真需要CP-ABE，现将配置过程作个记录 cpabe依赖pbc，pbc依赖gmp，gmp依赖M4、bison、flex，所以。。 [plain]view plaincopy sudoapt-getinstallM4 sudoapt-getinstallflex sudoapt...
【属性基加密】Ubuntu下CP-ABE库安装及调用教程详解
水亦心的博客
04-16 4760
一、前言 继续填坑。 如果想看其他有关于OpenCV学习方法介绍、学习教程、代码实战、常见报错及解决方案等相关内容，可以直接看我的OpenCV分类： 【OpenCV系列】：https://blog.csdn.net/shuiyixin/article/category/7581855 如果你想了解更多有关于计算机视觉、OpenCV、机器学习、深度学习等相关技术的内容，想与更多大佬一起沟...
CP-ABE安装方法
bjutstar的专栏
11-19 3534
make clean 1、安装m4 http://www.gnu.org/software/m4/  http://ftp.gnu.org/gnu/m4/ 下载压缩包 不会安…… checking for suitable m4... configure: error: No usable m4 in $PATH or /usr/5bin (see config.log for re
Ubuntu下CPABE环境配置
Stay hungry,stay young
04-19 1478
CPABE详细配置步骤如下： 1. 安装M4、bison、flex sudo apt-get install M4 sudo apt-get install flex sudo apt-get install bison123123 2.安装GMP GMP下载地址：https://gmplib.org/ 下载后首先使用lzip解压源码，如果没有需要先下载lzip，然后解压到文件夹中
【Hadoop】-Hive部署[12]
最新发布
weixin_63106307的博客
04-23 1320
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2。后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
docker componst基于 apache/hadoop 镜像 构建大数据集群
06-13
是的，Docker Compose可以基于Apache Hadoop镜像构建大数据集群。您可以使用以下步骤来构建一个简单的Hadoop集群： 1. 创建一个Docker Compose文件，命名为docker-compose.yml，并定义三个服务：namenode、datanode和resourcemanager。这些服务将分别运行Hadoop的Namenode、Datanode和ResourceManager。 ``` version: '3' services: namenode: image: sequenceiq/hadoop-docker:latest command: /etc/bootstrap.sh -d namenode ports: - "50070:50070" - "8088:8088" datanode: image: sequenceiq/hadoop-docker:latest command: /etc/bootstrap.sh -d datanode links: - namenode resourcemanager: image: sequenceiq/hadoop-docker:latest command: /etc/bootstrap.sh -d resourcemanager ports: - "8088:8088" links: - namenode ``` 2. 运行Docker Compose命令，启动集群： ``` docker-compose up ``` 这将启动三个服务，并在容器中运行Hadoop集群。 3. 检查集群状态。可以通过访问 http://localhost:50070 和 http://localhost:8088 来检查Hadoop集群的状态。如果一切正常，您应该可以看到Hadoop的Web UI。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值