大数据基础【Task1】创建虚拟机+熟悉linux

任务：

1. 创建三台虚拟机
2. 在本机使用Xshell连接虚拟机
3. CentOS7配置阿里云yum源和EPEL源
4. 安装jdk
5. 熟悉linux 常用命令
6. 熟悉，shell 变量/循环/条件判断/函数等

shell小练习1： 编写函数，实现将1-100追加到output.txt中，其中若模10等于0，则再追加输出一次。即10，20...100在这个文件中会出现两次。

注意：

• 电脑系统需要64位(4g+)
• 三台虚拟机的运行内存不能超过电脑的运行内存
• 三台虚拟机ip不能一样，否则会有冲突、

参考资料：

1. 安装ifconfig
2. bash: wget: command not found的两种解决方法
3. linux系统下载ssh服务
4. 关闭windows的防火墙！如果不关闭防火墙的话，可能和虚拟机直接无法ping通！
5. 大数据软件 ：链接 提取码：finf

时间：2天

1、创建三台虚拟机

参考链接：https://mp.weixin.qq.com/s/WkjX8qz7nYvuX4k9vaCdZQ

先安装virtualBox，一直点击下一步即可，可以修改想要安装的位置。之后按照上述链接里的基本步骤执行，不过对于我的电脑有几个不同之处：

（1）在虚拟机的设置——网络——界面名称处，教程里选择的是Realtek选项，而我的电脑网卡型号是Intel，因此需要改成自己电脑的网卡型号（直接选第一个，否则无法创建新任务）。查看电脑网卡型号的方式是：设置——网络和Internet——状态——更改适配器选项——右键查看自己正在连接的网络的属性即可。如果这一步设置不正确，后续无法连接网络。

（2）在安装centos系统时，教程中有一步设置网络的configure，需要更改IPv4 Settings和General中的一些默认设置，不知道为什么我安装时无法编辑configure中的内容，即进入configure后鼠标失效，键盘的上下左右键可用，但仍旧无法更改和保存。于是直接先跳过，后续采用大佬的方法在虚拟机里更改（下一步）https://zhuanlan.zhihu.com/p/74901808

 

2、在本机使用Xshell连接虚拟机

可以参考 https://blog.csdn.net/qq_25908611/article/details/79077532

因为在第一步没有设置网络的configure选项，意味着虚拟机的IP是默认动态的，XShell远程操作虚拟机时，需要虚拟机的IP地址，动态的IP地址显然很不方便，因此我们需要把虚拟机的IP设置为静态的。具体过程如下：

1）查看网卡文件名：

ll /etc/sysconfig/network-scripts/|grep ifcfg-en

可以看到下方出现了一个ifcfg开头的文件名，就是你的网卡文件名。

2）打开网卡文件，比如我的网卡文件名是ifcfg-enp0s3，因此输入：

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

就打开了文件，在键盘上按"i"就可以进行文件的修改，修改后的内容大致是这样的：

TYPE=Ethernet
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=enp0s3
UUID=23b2b3e7-e6d5-4a6d-83b4-f6949392a486
DEVICE=enp0s3
#static assignment
ONBOOT=yes #开机启动

BOOTPROTO=static #静态IP
IPADDR=192.168.43.2 #本机地址，注意这里的地址的192.168.43是与你的本机(windows)的IP地址前三个字段保持一致的，可以在本机进入cmd界面输入ipconfig查看，（注意最后一个字段不能为1！！！）
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.43.1 #默认网关

最后面四行为添加内容。

我还设置了下面两个字段，虽然不知道有什么用，看别人加了。

DNS1=192.168.43.1
DNS2=8.8.8.8

设置好之后。按esc键退出编辑模式，再输入":wq"即可退出vim界面。

3）重启网络服务，输入命令

systemctl restart network

4）开启sshd服务。

service sshd start

5）静态IP设置好了，可以通过ip addr命令查看自己的IP地址，也就是刚刚设置好的地址。

可以ping baidu.com来检查能否顺利连接网络（ping的过程较长，可按ctrl+c停止）。

尝试虚拟机ping主机（主机IP通过ipconfig命令获取），以及主机ping虚拟机

ping 你的虚拟机IP地址或主机IP地址

6）Xshell的安装比较简单，从官网下载好软件，正常安装即可。

安装好后在Xshell中新建会话，在主机处输入虚拟机IP。在用户身份验证处，输入用户名和密码，点击确定。选择想要的会话，点击连接即可。

 

 

 

参考资料：

https://blog.csdn.net/ZZY1078689276/article/details/77280814

3、CentOS7配置阿里云yum源和EPEL源

yum install -y wget 执行下面步骤之前，必须先安装wget,否则非常麻烦

直接参考:https://www.cnblogs.com/jimboi/p/8437788.html配置即可

如果万一先执行了备份，执行

mv repo_bak/*.repo ./  把文件移回去，亲测好用

4、安装jdk

下载好jdk文件（我在官网下的最新版，也可以https://pan.baidu.com/s/16JxtyprkOd6pXQtnqWVeEw），通过xshell传输文件到虚拟机。

在linux虚拟机中安装上传下载工具包rz及sz：

yum install -y lrzsz

在windows下通过Xshell连接虚拟机，输入命令

rz

后，会弹出一个对话框，选择需要上传到虚拟机的文件即可，默认保存在当前目录下。

下面开始安装jdk。

在usr/local下创建目录java：

cd /usr/local/
mkdir java

将jdk文件移动(mv)或复制(cp)到创建的目录下：

mv /root/jdk-8u131-linux-x64.tar.gz /usr/local/java/

解压文件到当前目录，解压之前务必到java文件夹下

tar -zxvf jdk-8u131-linux-x64.tar.gz

编辑配置文件：

vi /etc/profile

设置好环境变量（注意不要有空格之类的）：

JAVA_HOME=/usr/local/java/jdk1.8.0_131（根据你的jdk文件，不知道的在java下ls）
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

执行命令使得更改生效：

source /etc/profile  这一步没有反应

检查是否安装成功

java -version

 

参考资料：

通过xshell传输文件的教程：https://blog.csdn.net/love666666shen/article/details/75742077

安装jdk的教程：https://blog.csdn.net/szxiaohe/article/details/76650266

 

5、熟悉linux 常用命令

其实通过前面几个步骤，已经差不多熟悉linux的常用命令了。

ls   # 列出当前目录下的文件
cd A  # 切换到目录A
mv A B  # 移动文件A到B目录下
tar -zxvf *.tar.gz     # 解压压缩包
mkdir    # 创建目录
...

 

6、熟悉shell 变量/循环/条件判断/函数等

vi test_func.sh

在文件里写入：

#! /bin/bash

$:> output.txt  #清空文件，初始化
echo "测试写入output.txt文件"
for((i=1;i<=100;i++));
do
echo $i >> output.txt
b=$(( $i % 10 ))
if [ $b = 0 ];then
echo $i >> output.txt
fi
done

注意if语句后面的"["后是有空格的!

>> ；如果文件不存在，将创建新的文件，并将数据送至此文件；如果文件存在，则将数据添加在文件后面
>  ；如果文件不存在，同上，如果文件存在，先将文件清空，然后将数据填入此文件

然后执行文件bash test_func.sh

参考资料：

https://blog.csdn.net/liuxizhen2009/article/details/22472297

写入文件，追加内容，修改内容；shell,sed - 陳聽溪 - 博客园

心得

做的过程当中出现的问题实在太多了，全程追着大佬们问，但是好处是进步真的快。后面我才知道大佬们都是在Xshell上操作，而我全程在虚拟机上操作，虚拟机上每一个代码都是自己手敲进去的，也算是熟悉了一波linux的命令。Xshell相当于在主机和虚拟机之间建立连接，在主机上远程控制虚拟机。很多东西还不会，都是跟着别人的步骤一步步做，下一步要继续加强。