virtualbox的下载,打开.vdi文件并启动Hadoop系统

本文介绍了如何利用VirtualBox下载并新建Ubuntu系统,详细步骤包括设置镜像位置、创建虚拟机,以及如何在该系统中安装和启动Hadoop(HDFS、HBase、Spark、Hive)、MySQL等组件。作者分享了如何简化配置过程,以备后续可能的分享。
摘要由CSDN通过智能技术生成

目录

一、virtualbox的下载

二、新建Ubuntu系统

1、确定好镜像系统的位置

2、新建虚拟系统

三、Hadoop系统的启动

1、启动Hadoop

2、 启动hbase

3、启动spark

4、启动hive

5、hadoop和hbase的停止

​编辑 6、启动mysql

四、总结


小汤最近又需要在Hadoop生态系统上进行实验,于是又要重新安装虚拟机,配置Hadoop生态系统,但是以前配置过hadoop生态系统,于是找到的原先的镜像文件,直接打开使用,没想到竟然一点问题都没有~

一、virtualbox的下载

virtualbox下载地址:Downloads – Oracle VM VirtualBox

 直接进入下载页面下载windows版本的virtualbox并一路安装即可

安装ing

二、新建Ubuntu系统

1、确定好镜像系统的位置

2、新建虚拟系统

(1)点击新建

(2)填写虚拟电脑的名称以及储存的位置

这里主要在虚拟硬盘这里选择使用已有的虚拟硬盘文件

 点击注册,去到镜像系统的位置,点击选择即可

 这时候你的virtualbox就出现了一个虚拟系统,然后点击启动即可

三、Hadoop系统的启动

Hadoop中主要有hdfs这个分布式文件管理系统,用于文件存储,是是生态系统中的底层

1、启动Hadoop

打开一个终端,进行ssh连接

ssh localhost

进入管理员模式

sudo su

进入hadoop安装目录,启动hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh

输入jps可以看到datanode和namenode均成功启动 

2、 启动hbase

HBase是一个分布式的、面向列的开源数据库,用于存储分布式数据

同样进入hbase安装命令,输入命令启动

cd /usr/local/hbase
bin/start-hbase.sh

可以看到hbase已经成功启动,可以输入

bin/hbase shell

进入hbase的命令行,进行hbase代码书写

3、启动spark

可参考我的另一篇博客Linux系统下Spark的下载与安装(pyspark运行示例)-CSDN博客

4、启动hive

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

cd /usr/local/hive
./bin/hive

 可以进入hive的命令行,查看数据库

5、hadoop和hbase的停止

 一定要先停止hbase等其他基于hadoop的组件,再停在hadoop.

这里我没有进入相关目录就能停止,是因为我在环境变量中已经配置了hadoop和hbase的bin目录地址,因此可以直接停止。

stop-hbase.sh
stop-dfs.sh

可以看到,输入jps hadoop和hbase都停止了

 6、启动mysql

mysql -u root -p

四、总结

基本上这个镜像文件中,Hadoop生态系统的大部分东西都安装好了(hadoop,hbase,hive,spark,sqoop),免去了很多配置的烦恼,同时安装好了eclipse和jupyter可以直接进行项目的书写和运行

后续考虑要不要将镜像文件分享出来~ 


都看到这里了,给个小♥♥呗~ 

  • 11
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值