大数据001——Linux

大数据001——Linux

1. 环境准备

1.1 VMware

安装虚拟机VMware10。

1.2 Linux安装

安装CentOS6.6。

1.3 网络配置

1.3.1 查看虚拟机网关

在此之前linux系统的虚拟机网络设置为NAT模式：

一般虚拟机网关为 .2 结尾，如本机：192.168.142.2；

起始——结束IP地址设置为：192.168.142.4——192.168.142.254， .0/.1/.2/.255一般为专用IP。

1.3.2 配置Liunx静态IP(NAT模式)

Ⅰ. 编辑配置文件

Linux命令行输入：

[root@node01 ~]# vi  /etc/sysconfig/network-scripts/ifcfg-eth0

按i 进入文本编辑模式，出现游标，左下角会出现INSERT,即可以编辑:

DEVICE=eth0              #网卡设备名,请勿修改名字        
TYPE=Ethernet			 #网络类型，以太网	
ONBOOT=yes               #开启自动启用网络连接
NM_CONTROLLED=yes
BOOTPROTO=static		 #启用静态IP地址
IPADDR=192.168.142.11	 #设置IP地址
NETMASK=255.255.255.0    #设置子网掩码
GATEWAY=192.168.142.2	 #设置网关

按ESC退出编辑模式，输入:wq 保存退出；

Ⅱ. 修改完后执行以下命令

[root@node01 ~]# service network restart  #重启网络连接

Ⅲ. 验证是否配置成功

a. 虚拟机能ping通虚拟网关

[root@node01 ~]# ping 192.168.142.2
PING 192.168.142.2 (192.168.142.2) 56(84) bytes of data.
64 bytes from 192.168.142.2: icmp_seq=1 ttl=128 time=8.48 ms
64 bytes from 192.168.142.2: icmp_seq=2 ttl=128 time=0.325 ms
^C
--- 192.168.142.2 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1959ms
rtt min/avg/max/mdev = 0.325/4.404/8.484/4.080 ms

Ctrl键+C停止。

b. 虚拟机与物理机（笔记本）相互可ping通

[root@node01 ~]# ping 192.168.4.180
PING 192.168.4.180 (192.168.4.180) 56(84) bytes of data.
64 bytes from 192.168.4.180: icmp_seq=1 ttl=128 time=0.781 ms
64 bytes from 192.168.4.180: icmp_seq=2 ttl=128 time=0.485 ms
64 bytes from 192.168.4.180: icmp_seq=3 ttl=128 time=0.435 ms
^C
--- 192.168.4.180 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2239ms
rtt min/avg/max/mdev = 0.435/0.567/0.781/0.152 ms

Ctrl键+C停止。

c. 虚拟机与公网上的百度网址相互可ping通（此步ping通，才说明网络配置成功）

​ 命令：ping www.baidu.com

• 在此之前需要配置DNS服务器的地址文件，Linux命令行输入：

[root@node01 ~]# vi /etc/resolv.conf 

• 按i 进入文本编辑模式，输入：

nameserver 192.168.142.2 #虚拟机网关

• ping公网百度：

[root@node01 ~]# ping www.baidu.com
PING www.a.shifen.com (115.239.210.27) 56(84) bytes of data.
64 bytes from 115.239.210.27: icmp_seq=1 ttl=128 time=13.8 ms
64 bytes from 115.239.210.27: icmp_seq=2 ttl=128 time=14.6 ms
64 bytes from 115.239.210.27: icmp_seq=3 ttl=128 time=13.0 ms
64 bytes from 115.239.210.27: icmp_seq=4 ttl=128 time=13.8 ms
^C
--- www.a.shifen.com ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3350ms
rtt min/avg/max/mdev = 13.066/13.864/14.678/0.582 ms

1.3.3 XShell xftp安装与使用

安装XShell。

2. Linux文件系统

Linux文件系统中的文件是数据的集合，文件系统不仅包含着文件中的数据而且还有文件系统的结构，所有Linux 用户和程序看到的文件、目录、软连接及文件保护信息等都存储在其中。

2.1 目录操作

切换目录：cd + 目录的路径；

​ cd / ：进入/目录，该目录下存在 bin、boot、dev、etc、home、lib、proc、usr、var等文件夹；

​ cd /usr：进入到usr文件夹目录；

​ cd ~ ：进入到root目录。

查看当前目录的完整路径 ：pwd；

返回到父目录： cd …；

新建目录：mkdir + 目录名字；

查看当前目录下拥有的子目录和文件: ls；

查看当前目录下拥有的子目录和文件: ll，长列表格式显示文件及目录；

拷贝目录：cp source dest -rf；

​ -f：强制的；

​ -v：递归的、遍历的；

删除目录：rmdir directory、rm-rf dir；

移动/更改 目录：mv + 目录/文件名字 + 其他路径、mv test / 将test目录移动到根目录/ 下；

2.2 文件操作

新建文件（一切皆文件）：touch web.log 创建一个空文件；

复制文件：**cp ** -rf web.log web_cp.log；

删除文件：**rm -f web_cp.log；

查看目录下的东西：ls / ll；

查看目录下的所有东西（包括隐藏文件）：ls –al 等价于 ll –a；

查看文件内容：cat filename 一次性显示整个文件的内容

more filename 该命令一次显示一屏文本，满屏后停下来，并且在屏幕的底部出现一个提示信息，给出至今己显示的该文件的百分比。

​ 按Space键，显示文本的下一屏内容。

按Enier键，只显示文本的下一行内容。

​ 按B键，显示上一屏内容。

​ 按Q键，退出。

less命令 与 more命令非常类似；

从头打印文件内容：head -10 filename 打印文件1到10行；

从尾部打印文件内容：tail -10 filename 打印文件最后10行；

查找文件或目录：find pathname –name filename；

​ find /etc -name pro*：查找以pro开头的文件或目录；

2.3 文本编辑

vi编辑模式

​ vi filename :打开或新建文件，并将光标置于第一行首 ；

​ vi +n filename ：打开文件，并将光标置于第n行首 ；

​ vi + filename ：打开文件，并将光标置于最后一行首 ；

​ vi +/pattern filename：打开文件，并将光标置于第一个与 pattern匹配的串处；

vi命令行模式

​ w保存

​ q退出

​ q!：不保存文件并退出vi

​ – 在VI的命令模式下输入“:set nu”，就有行号了。

​ – 在VI的命令模式下输入“:set nonu”，取消行号。

一般模式

yy 复制光标所在行(常用) 

​ nyy 复制光标所在行的向下n行，例如， 20yy则是复制20行(常用)

 p,P   p为复制的数据粘贴在光标下一行， P则为粘贴在光标上一行(常用)

​ G:光标移至第最后一行

​ nG：光标移动至第N行行首

​ n+：光标下移n行

​ n-：光标上移n行

​ H ：光标移至屏幕顶行

​ M ：光标移至屏幕中间行

​ L ：光标移至屏幕最后行

 dd：删除 行 

​ x或X：删除一个字符，x删除光标后的，而X删除光标前的

u 恢复前一个动作(常用)

​ 删除第N行到第M行：N,Md

vim编辑器

​ 安装vim：yum install vim -y；

2.4 文件传输

将本地文件复制到远程机器：scp local_file remote_username@remote_ip:remote_folder；

将本地目录复制到远程机器：scp -r local_folder remote_username@remote_ip:remote_folder；

文件上传需先安装好lrzsz : yum install lrzsz -y；

安装好后，输入上传的命令rz,弹出上传文件选择界面；

将文件下载至windows系统：sz filename；

3. 网络指令

查看网络配置信息：ifconfig；

测试与目标主机的连通性：ping remote_ip；

显示各种网络相关信息：netstat –a n p t；

​ -a (all)显示所有选项，默认不显示LISTEN相关
-t (tcp)仅显示tcp相关选项
​ -u (udp)仅显示udp相关选项
​ -n 拒绝显示别名，能显示数字的全部转化成数字。
-l 仅列出有在 Listen (监听) 的服務状态

​ -p 显示建立相关链接的程序名
​ -r 显示路由信息，路由表
​ -e 显示扩展信息，例如uid等
​ -s 按各个协议进行统计
-c 每隔一个固定时间，执行该netstat命令。

​ 提示：LISTEN和LISTENING的状态只有用-a或者-l才能看到；
注意：当进行了克隆或回到快照（VMware功能）操作，重新配置了系统IP后，需要删除规则文件并重启系统：

rm -rf /etc/udev/rules.d/70-persistent-net.rules

4. 系统配置

主机名配置：vim /etc/sysconfig/network；

NETWORKING=yes
HOSTNAME=node01 #在此修改主机名

IP地址hostname的对应：vi /etc/hosts；

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.142.11 node01 #编辑IP和对应的主机名
192.168.142.12 node02

之后便可以直接ping 主机名测试网络连接；

DNS配置：/etc/resolv.conf；

nameserver 192.168.142.2 #也可以配置nameserver 114.114.114.114

环境变量：Linux系统的环境变量是在/etc/profile文件里配置；

查看系统所有的环境变量和对应的目录：echo $path；

编辑环境变量：vim /etc/profile；

重新加载环境：source /etc/profile；