进入VirtuakBox官网,网址链接:Oracle VM VirtualBoxhttps://www.virtualbox.org/
网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwarehttps://www.osboxes.org/ubuntu/
将下发的ds_db01.sql数据库文件放置mysql中
12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.user_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;
13、 编写Scala代码,使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.sku_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;
软件名称 | 版本 |
ubuntu | 18.04 64 位 |
Hadoop:hadoop-3.1.3.tar.gz | 3.1.3 |
Jdk:jdk-8u212-linux-x64.tar.gz | 1.8 |
Spark:spark-3.1.1-bin-hadoop3.2.tgz | 3.1.1 |
Hive:apache-hive-3.1.2-bin.tar.gz | 3.1.2 |
MySQL | 5.7 |
Scala:scala-2.12.x.tgz | 2.12 |
Vue.js | 3.2 |
ECharts | 5.1 |
JDBC驱动: mysql-connector-java-5.1.37.jar | |
集成开发工具:IDEA 2022 社区版 |
一、下载并安装virtualbox
VirtualBox是功能强大的x86和AMD64/Intel64虚拟化企业和家庭使用的产品。VirtualBox不仅是面向企业客户的功能极其丰富的高性能产品,它还是唯一一个根据GNU通用公共许可证(GPL)第3版条款作为开源软件免费提供的专业解决方案。参见"关于VirtualBox“做个介绍。
目前,VirtualBox运行在Windows、Linux、macOS和Solaris主机上,并支持大量来宾操作系统包括但不限于Windows (NT 4.0、2000、XP、Server 2003、Vista、Windows 7、Windows 8、Windows 10)、DOS/Windows 3.x、Linux (2.4、2.6、3.x和4.x)、Solaris和OpenSolaris、OS/2和OpenBSD。
VirtualBox正在积极开发,发布频繁,功能、支持的客户操作系统和运行平台越来越多。VirtualBox是一个由专门公司支持的社区项目:鼓励每个人都做出贡献,同时Oracle确保产品始终符合专业质量标准。
virtualbox7.0.8版本的安装
1.进入VirtuakBox官网,网址链接:
Oracle VM VirtualBoxhttps://www.virtualbox.org/
选择左侧的Downloads。
2.进入界面如下,选择如下库红框中的选项,点击即可下载。
3.下载后得到目标程序
4.安装过程点击next,选择自己安装路径即可。
安装成功后进入的初始界面
二、Ubuntu的下载与安装
ubuntu是一个全功能的Linux操作系统,它基于Debian发行版,可以在社区和专业支持下免费获得,unity是它的默认桌面环境。其他桌面默认提供其他风格的Ubuntu,比如Ubuntu Gnome、Lubuntu、Xubuntu等等。一个紧密集成的优秀应用程序的选择包括在内,令人难以置信的各种附加软件只是点击几下鼠标。Ubuntu的默认安装包含了广泛的软件,包括LibreOffice、Firefox、Empathy、Transmission等。Ubuntu的开发由典范有限公司。南非企业家马克·舒托沃尔斯拥有的一家公司。
ubuntu18.04.6操作系统
1、下载
网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwarehttps://www.osboxes.org/ubuntu/
初始界面如下,接着往下滑,下载Ubuntu 18.04.6 Bionic Beaver的64位。
点击下载按钮,等待完事后,解压安装包后会有一个.vdi文件,先保存好。
2、下载安装完成后
1.现在打开VirtualBox,看到新建(N)按钮了吧,点击。
2.进入后,编辑自己的名称呀,和安装文件夹,点击下一步。
3.这个就看着办了,要是没啥追求,就做个实验,像我这么选择就行。
4.选择使用已有的虚拟硬盘文件,由于我是安装成功后才写的此文章,所以能看到下面有这个信息,第一次安装这里是空白的。
5、现在我们虚拟机已经创建好了!!!(但是我们还没对其进行配置,所以还什么都做不了,因为没有硬盘)
创建虚拟硬盘(Virtual Hard disk),这里我们先选择不添加(DO Not a Virtual Harf Disk),我们后面添加
提示:我们接下来进行第二步
三、修改虚拟机硬件配置
1.选择虚拟机,找到“设置”,点击它
2.进入“系统”—>"主板"页面,在内存大小这里和之前一致就行,将“启动顺序”中设置为“光驱”—>“硬盘”,“网络”可选可不选
3,进入“系统”—>“处理器”界面,处理器数量和之前设置的一致就行
4,进入“存储”界面,可以看到两个控制器:IDE和SATA
(因为我们在创建虚拟机的时候没有分配虚拟硬盘,所以SATA是空)
提示:接下来我们将要创建虚拟硬盘
四、创建虚拟硬盘
提示:虚拟机的硬盘是通过文件模拟的,以下是几种虚拟硬盘文件格式:
①VMDK ②VDI ③VHD
1,进入虚拟机界面,选择“管理”-->"工具"-->“虚拟介质管理”,
2,点击“创建”
3,选择虚拟硬盘格式(这里选择以VDI为例,其他的步骤也一样)
4,Pre-allocate Full Size为 固定大小分配,若选择固定大小直接勾选即可。
这里我们选择“动态分配”,但是课看到Split into 2GB parts无法勾选,所以可以直接不勾选,点击next即可,默认会选动态分配。
5,设置硬盘大小(这里我设置了22G,如果要下载大型游戏的,可以多分配
6,分配完成了,可以看到虚拟分配的实际空间会很小,等我们写入程序时磁盘会变大直到达到我们分配的大小
提示:虚拟硬盘创建完成,就可以安装到虚拟机上了
五、将虚拟硬盘安装到虚拟机上
1,选择虚拟机,点击“设置”,进入虚拟机设置窗口
2,进入“存储”界面,选择SATH控制器,点击右侧第二个按钮,将刚才创建的虚拟硬盘挂载到SATA控制器中
3,选择要安装的虚拟硬盘
4,挂载成功
提示:进入为虚拟机安装Ubuntu操作系统
六、为虚拟机安装Ubuntu操作系统
·此时我们的虚拟操作系统是空的,我们需要通过光盘来安装操作
1,选择虚拟机,点击“设置”,进入虚拟机设置窗口
2,进入“存储”界面,选择IDE控制器,点击“没有盘片”,在“分配光驱”中
点击右侧图标按钮-->‘选择虚拟盘’
4,挂载完成
5,选择虚拟机,点击“启动”
(温馨提示:安装过程中不要重启或者退出,系统会报错,可能要重头再来咯~)
正常的应该是这个界面:
进入虚拟机界面
6,选择语言,点击“安装Ubuntu”
7,接下来选项,选择“默认”即可
不要犹豫,点“继续”
8,选择区域,选择“上海”
9,设置用户名,密码,姓名(小北的是Stitch.)
之后会进入以下界面,
等待时间较长还是一直卡在黑色界面,也可以点击右上角X,选择“强制关机”选项退出就行。
接着我们通过VirtualBox,重新启动,就可以成功进入虚拟机了~
这里界面操作和电脑差不多,关机可以选择右上角关机键即可~
总结
以上就是今天要讲的内容,本文仅仅简单介绍了VirtualBox中安装Ubuntu,而虚拟机中的具体操作和电脑差不多,在终端中进行操作的代码后续发布!!