linux的网络配置,jdk,mysql和hadoop的安装教程,hdfs的shell客户端的操作命令

linux的网络配置以及环境配置---(Day01)

1.centos7 的网络配置(我们设置的虚拟网卡可以比作是windows和linux之间的一个交换机的网络设置)

1.1 打开vmware虚拟机,在虚拟机中点击编辑下的虚拟网卡设置,如图

1.2  点击之后设置子网(子网指的就是网段),子网掩码,然后点击NAT设置

1.3 设置NAT ,这里设置的NAT指的就是设置虚拟机中交换机的ip地址   (这里我们的虚拟机这一部分就设置好了)

2.windows中的网络配置

2.1 先打开网络和internet设置,点击vmnet8网卡,右击选择属性,如图所示

2.2进入之后选择tcp/ipv4,如图

2.3 进入之后设置如图所示

3.linux中需要配置的东西

3.1 输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33  进去网络配置文本编辑,为了方便之后虚拟机之间的克隆,我们在配置网络时要把唯一标识UID删除

3.2 在将网卡配置好之后,我们将重启我们的网络服务,输入命令:systemctl restart network,然后查看我们的网络ip地址:输入命令:ip addr

3.3 最后,我们需要ping 192.168.133.2  检查是否和我们的windows之间的联通的 ,然后在ping www.baidu.com 看我们的网络是否能链接外网

 

 

在linux中安装jdk以及配置JAVA_HOME--(Day02)

1.上传jdk1.8.0_261 jar包,我们使用rz命令进行上传,如果没有这个命令我们就使用命令安装一个:yum -y install lrzsz.x86_64

安装完成之后,在命令行输入:rz上传如图所示

2. 将我们的jar包解压到指定的文件夹下,我们一般将第三方软件安装到 /opt/apps/文件夹下,使用命令进行解压到指定的文件夹

:tar -zxvf  jdk-8u261-linux-x64.tar.gz  -C  /opt/apps/

 

3.解压之后开始配置环境变量

3.1 输入命令:vi  /etc/profile/       这个命令是用来配置永久性的环境变量,是全局变量相当于 配置windows中的path

3.2 进入文件之后,命令行模式下输入G,跳转到文档的最后一行,在最后一行插入:

exprot   JAVA_HOME=/opt/apps/jdk1.8.0_261    后面指的是jdk的路径

export   PATH=$PATH:$JAVA_HOME/bin   将path路径指向到bin目录下,见下图

4.将我们配置好的文件设置为永久性的全局环境变量,输入命令:source  /etc/profile

5.输入java  -version 检查我们配置的环境变量是否生效

 

如何更改linux中的主机名,windows和linux中的域名映射

 

1.修改linux中的主机名,输入命令:vi /etc/hostname

2.修改linux中的域名映射,输入命令: vi /etc/hosts,如图所示

3.设置windows中的域名映射

在windows中找到hosts文件,路径为:C:\Windows\System32\drivers\etc

 

在linux中安装MYSQL,mysql安装包是以rpm结尾的文件,这种文件是二进制安装包,缺点就是需要手动解决依赖问题,比较麻烦,我们一般使用yum安装,这个命令可以自动解决依赖关系,安装方法以及步骤,请参考我的收藏中的博客

修改主机名和域名映射

vi /etc/hosts    修改域名映射

vi /etc/hostname  修改主机名   重启机器生效

查看网络端口

1)  yum -y install  net-tools 

2) netstat -nltp  | grep  8080 查看端口是否被展示

安装上传软件

1) yum list  | grep  rz   搜索软件名

2) yum -y install  lrzsz.x86_64  安装

3)  rz 在指定的目录中执行  将文件上传到指定的目录中

hadoop-day01

hadoop的安装

1.统一将hadoop文件统一安装到/opt/apps

1.1上传hadoop的安装包

在CRT中使用alt+p上传hadoop压缩包hadoop-3.1.1.tar.gz

1.2上传之后进行解压到当前目录

使用命令tar -zxvf hadoop-3.1.1.tar.gz

2 hadoop环境配置

2.1 进入到此目录下 /opt/apps/hadoop-3.1.1/etc/hadoop

vi hadoop-env.sh  编辑次文件,在此文件中配置java_home   

export    JAVA_HOME=/opt/apps/jdk1.8.0_141

2.2 vi hdfs-site.xml  编辑此文件,

<configuration>
   <!-- 集群的namenode的位置  datanode能通过这个地址注册-->
	<property>
	     <name>dfs.namenode.rpc-address</name>
		 <value>linux01:8020</value>
	</property>
	 <!-- namenode存储元数据的位置 -->
	<property>
	     <name>dfs.namenode.name.dir</name>
		 <value>/opt/hdpdata/name</value>
	</property>
	 <!-- datanode存储数据的位置 -->
	<property>
	     <name>dfs.datanode.data.dir</name>
		 <value>/opt/hdpdata/data</value>
	</property>
	 <!-- secondary namenode机器的位置-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>linux02:50090</value>
	</property>
 
</configuration>

2.3 第一台机器配置好以后,然后将hadoop文件发送集群中的其他两台机器

scp -r hadoop-3.1.1  linux02:$PWD 

scp -r hadoop-3.1.1  linux03:$PWD 

2.4 给集群中的其他两台机器发送完hadoop文件之后,对我们的第一台机器,namenode进行初始化(注:初始化我们只对第一台机器进行初始化)

2.4.1:在/opt/apps/hadoop-3.1.1/bin目录下执行hadoop  namenode -format 对我们的hadoop进行初始化,此时会生成一个文件夹,hdpdata文件中有data和name两个文件

3 配置HADOOP系统环境变量

vi /etc/profile 编辑环境变量文件

export  JAVA_HOME=/opt/apps/jdk1.8.0_141
export  TOMCAT_HOME=/opt/apps/apache-tomcat-7.0.47
export  HADOOP_HOME=/opt/apps/hadoop-3.1.1
export  PATH=$PATH:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4 配置完环境变量之后进行source /etc/profile 将环境变量文件提升为全局环境变量

5 配置一键启动所有的namenode和datanode

1 ) 在配置文件的目录中修改workers配置文件 (启动的时候会读取这个文件 ,在配置的主机上分别启动datanode)

vi workers  编辑次文件,将机器中的其他机器的域名写入文件(注意:此时我们的主机名和域名映射一定要修改正确)如图:

2)在一键启动的脚本中插入以下命令

vi sbin/start-dfs.sh  |  vi stop-dfs.sh

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

 

3 一键启动|停止

start-dfs.sh  

    读取workers 获取启动DN的主机

   读取hdfs-site.xml文件  在哪个机器上启动namenode和secondarynamenode

HDFS分布式文件系统客户端操作

当我们在/opt/apps/hadoop-3.1.1/bin下执行hdfs dfs -ls / 这条命令时,默认查看的是我们本机linux中/目录下的所有内容,此时我们想查询hdfs中/目录的内容时,我们需要执行 hdfs dfs -ls hdfs://linux01:8020/ 这条命令需要加上linux01的端口号,比较繁琐,此时我们需要修改配置文件,将默认执行本机/目录,改为默认执行hdfs中的/目录如图:

修改  etc/hadoop/core-site.xml  让默认操作的文件系统是HDFS分布式文件系统

vi  etc/hadoop/core-site.xml

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://linux01:8020</value>
  </property>

改完配置以后再执行:hdfs dfs -ls / 这条命令时,就默认查看的是hdfs中的/目下的所有目录 

hdfs分布式文件系统常用的命令

•  hdfs  dfs  -ls   /     列出目录下的所有内容
• hdfs dfs  -mkdir -p  /aa/bb/cc    递归创建文件夹
• hdfs dfs -rmdir   删除文件夹
• hdfs dfs -put  本地文件  /aa/     上传文件
• hdfs  dfs -get /aa/a.txt  /doit18/  从hdfs文件系统下载文件
• hdfs dfs -rm -r  /aa/*   递归删除文件夹下的所有内容
• hdfs  dfs -chmod -R  777   /aa/    给文件赋权限
• hdfs dfs -df -h  查看系统容量(分布式系统的存储总空间)
• hdfs   dfs -du  -h  +目录  查看文件和文件夹的大小