大数据基础【Task1】创建虚拟机+熟悉linux

任务:

  1. 创建三台虚拟机
  2. 在本机使用Xshell连接虚拟机
  3. CentOS7配置阿里云yum源和EPEL源
  4. 安装jdk
  5. 熟悉linux 常用命令
  6. 熟悉,shell 变量/循环/条件判断/函数等

shell小练习1: 编写函数,实现将1-100追加到output.txt中,其中若模10等于0,则再追加输出一次。即10,20...100在这个文件中会出现两次。

注意:

  • 电脑系统需要64位(4g+)
  • 三台虚拟机的运行内存不能超过电脑的运行内存
  • 三台虚拟机ip不能一样,否则会有冲突、

参考资料:

  1. 安装ifconfig
  2. bash: wget: command not found的两种解决方法
  3. linux系统下载ssh服务
  4. 关闭windows的防火墙!如果不关闭防火墙的话,可能和虚拟机直接无法ping通!
  5. 大数据软件 :链接 提取码:finf

时间:2天

1、创建三台虚拟机

参考链接:https://mp.weixin.qq.com/s/WkjX8qz7nYvuX4k9vaCdZQ

先安装virtualBox,一直点击下一步即可,可以修改想要安装的位置。之后按照上述链接里的基本步骤执行,不过对于我的电脑有几个不同之处:

(1)在虚拟机的设置——网络——界面名称处,教程里选择的是Realtek选项,而我的电脑网卡型号是Intel,因此需要改成自己电脑的网卡型号(直接选第一个,否则无法创建新任务)。查看电脑网卡型号的方式是:设置——网络和Internet——状态——更改适配器选项——右键查看自己正在连接的网络的属性即可。如果这一步设置不正确,后续无法连接网络。

(2)在安装centos系统时,教程中有一步设置网络的configure,需要更改IPv4 Settings和General中的一些默认设置,不知道为什么我安装时无法编辑configure中的内容,即进入configure后鼠标失效,键盘的上下左右键可用,但仍旧无法更改和保存。于是直接先跳过,后续采用大佬的方法在虚拟机里更改(下一步)https://zhuanlan.zhihu.com/p/74901808

 

2、在本机使用Xshell连接虚拟机

可以参考 https://blog.csdn.net/qq_25908611/article/details/79077532

因为在第一步没有设置网络的configure选项,意味着虚拟机的IP是默认动态的,XShell远程操作虚拟机时,需要虚拟机的IP地址,动态的IP地址显然很不方便,因此我们需要把虚拟机的IP设置为静态的。具体过程如下:

1)查看网卡文件名:

ll /etc/sysconfig/network-scripts/|grep ifcfg-en

可以看到下方出现了一个ifcfg开头的文件名,就是你的网卡文件名。

2)打开网卡文件,比如我的网卡文件名是ifcfg-enp0s3,因此输入:

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

就打开了文件,在键盘上按"i"就可以进行文件的修改,修改后的内容大致是这样的:

TYPE=Ethernet
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s3
UUID=23b2b3e7-e6d5-4a6d-83b4-f6949392a486
DEVICE=enp0s3
#static assignment
ONBOOT=yes #开机启动

BOOTPROTO=static #静态IP
IPADDR=192.168.43.2 #本机地址,注意这里的地址的192.168.43是与你的本机(windows)的IP地址前三个字段保持一致的,可以在本机进入cmd界面输入ipconfig查看,(注意最后一个字段不能为1!!!)
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.43.1 #默认网关

最后面四行为添加内容。

我还设置了下面两个字段,虽然不知道有什么用,看别人加了。

DNS1=192.168.43.1
DNS2=8.8.8.8

设置好之后。按esc键退出编辑模式,再输入":wq"即可退出vim界面。

3)重启网络服务,输入命令

systemctl restart network

4)开启sshd服务。

service sshd start

5)静态IP设置好了,可以通过ip addr命令查看自己的IP地址,也就是刚刚设置好的地址。

可以ping baidu.com来检查能否顺利连接网络(ping的过程较长,可按ctrl+c停止)。

尝试虚拟机ping主机(主机IP通过ipconfig命令获取),以及主机ping虚拟机

ping 你的虚拟机IP地址或主机IP地址

6)Xshell的安装比较简单,从官网下载好软件,正常安装即可。

安装好后在Xshell中新建会话,在主机处输入虚拟机IP。在用户身份验证处,输入用户名和密码,点击确定。选择想要的会话,点击连接即可。

 

 

 

参考资料:

https://blog.csdn.net/ZZY1078689276/article/details/77280814

3、CentOS7配置阿里云yum源和EPEL源

yum install -y wget 执行下面步骤之前,必须先安装wget,否则非常麻烦

直接参考:https://www.cnblogs.com/jimboi/p/8437788.html配置即可

如果万一先执行了备份,执行

mv repo_bak/*.repo ./  把文件移回去,亲测好用

4、安装jdk

下载好jdk文件(我在官网下的最新版,也可以https://pan.baidu.com/s/16JxtyprkOd6pXQtnqWVeEw),通过xshell传输文件到虚拟机。

在linux虚拟机中安装上传下载工具包rz及sz:

yum install -y lrzsz

在windows下通过Xshell连接虚拟机,输入命令

rz

后,会弹出一个对话框,选择需要上传到虚拟机的文件即可,默认保存在当前目录下。

下面开始安装jdk。

在usr/local下创建目录java:

cd /usr/local/
mkdir java

将jdk文件移动(mv)或复制(cp)到创建的目录下:

mv /root/jdk-8u131-linux-x64.tar.gz /usr/local/java/

解压文件到当前目录,解压之前务必到java文件夹下

tar -zxvf jdk-8u131-linux-x64.tar.gz

编辑配置文件:

vi /etc/profile

设置好环境变量(注意不要有空格之类的):

JAVA_HOME=/usr/local/java/jdk1.8.0_131(根据你的jdk文件,不知道的在java下ls)
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

执行命令使得更改生效:

source /etc/profile  这一步没有反应

检查是否安装成功

java -version

 

参考资料:

通过xshell传输文件的教程:https://blog.csdn.net/love666666shen/article/details/75742077

安装jdk的教程:https://blog.csdn.net/szxiaohe/article/details/76650266

 

5、熟悉linux 常用命令

其实通过前面几个步骤,已经差不多熟悉linux的常用命令了。

ls   # 列出当前目录下的文件
cd A  # 切换到目录A
mv A B  # 移动文件A到B目录下
tar -zxvf *.tar.gz     # 解压压缩包
mkdir    # 创建目录
...

 

6、熟悉shell 变量/循环/条件判断/函数等

vi test_func.sh

在文件里写入:

#! /bin/bash

$:> output.txt  #清空文件,初始化
echo "测试写入output.txt文件"
for((i=1;i<=100;i++));
do
echo $i >> output.txt
b=$(( $i % 10 ))
if [ $b = 0 ];then
echo $i >> output.txt
fi
done

注意if语句后面的"["后是有空格的!

>> ;如果文件不存在,将创建新的文件,并将数据送至此文件;如果文件存在,则将数据添加在文件后面
>  ;如果文件不存在,同上,如果文件存在,先将文件清空,然后将数据填入此文件

然后执行文件bash test_func.sh

参考资料:

https://blog.csdn.net/liuxizhen2009/article/details/22472297

写入文件,追加内容,修改内容;shell,sed - 陳聽溪 - 博客园

心得

做的过程当中出现的问题实在太多了,全程追着大佬们问,但是好处是进步真的快。后面我才知道大佬们都是在Xshell上操作,而我全程在虚拟机上操作,虚拟机上每一个代码都是自己手敲进去的,也算是熟悉了一波linux的命令。Xshell相当于在主机和虚拟机之间建立连接,在主机上远程控制虚拟机。很多东西还不会,都是跟着别人的步骤一步步做,下一步要继续加强。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值