关于虚拟机

Vm虚拟机   想要在windows电脑上操作linux操作系统需要安装这个软件
CentOS  是linux操作系统
配置
linux里面创建文件夹<mkdir>
1.在/opt文件下分贝=别创建两个文件夹（software和module）
注.Software里面存放我们解压前的文件
Module里面存放我们解压后的文件

---

2.解压jdk到module文件夹里

命令：tar
（1）需要切换到software文件夹下
命令：cd /opt/software
（2）解压文件
tar -zxvf （文件名） -C /etc/profile
4.配置JDK的环境变量
（1）命令输入：vi /etc/profile
<%--comment--%>注释 
多行注释<%/*注释语句*/>
单行注释<%//注释语句%>
HTML注释<!--comment【%=expression=%】comment--!>
<%=new java.util.Date()%>-->时间的显示

<%@ include file="文件名"  %>

---

  2021年10月13日星期三，课堂笔记
一、本地模式
hadoop去操作
目标1：利用本地hadoop实现单词个数的统计
（1）需要包含内容的文件（统计单词个数的文件）
（2）在hadoop中执行文件

（3）查看执行结果。
二.、伪分布部署
命令：hadoop jar hadoop-mapreduce-examples-3.1.3.jar  wordocunt(操作) /opt/text/input/(操作那个文件) /opt/text/output/count.txt（执行后的结果存放位置）

删除文件夹的命令：rm-R 目录名称
移动的命令

1.安装虚拟机，镜像（CentOS）
2.修改主机名，ip地址
3、ip地址和主机名映射
4、网络配置{1、虚拟机   2、windows}
5、moba 安装连接
6、安装hadoop 、jdk
7、配置环境变量
8、hadoop布置{1、本地布置  2、伪分布式， 3、安全分布式}

---

伪分布式布署：
课堂预习：
core-site-xml
hafs-site.xml
这节课：yarn-site.xml
mapred -site.xml

#jps
7340 jps
#hdfs --daemon start namenode         (yps 查看进程）
#jps
7393 NameNode
7458 Jps
#hdfs --daemon start datanode
# jps
7393 NameNode
7572 Jps
7512
DataNode
#cd / opt/module/hadoop -3.1.3/etc/hadoop/
#pwd                      pwd(查看当前所在位置)
/opt/module/hadoop -3.1.3/etc/hadoop/
#ll
# vi yarn -site.xml

<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
*调整的内容是你的是100就是多少<value>hadoop100</value>
</property>
 <property>
  <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
 </property>
</configuration>
退出
#vi  mapred -site.xml
<!-- 指定MR运行在YARN上 -->
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>
</configuration>
退出
#yarn --daemon start resourcemanager
#jps
7393 NameNode
7636 ResourceManager
7512 DataNode
7854  Jps

cd . . 返回上一层 
ll    查看文件
cd   logs   切换到logs文件里面
cat   查看文件内容

删除文件 rm  -r

---

上课笔记
HDFS是进行存储的，YARN是进行调度的。
1.切换到hadoop下面的etc（配置文件都在etc下面）
2.在hadoop中配置core-site.xml
Vi core-site.xml
指定HDFS中namenode的地址。将命令放到configuration标签中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop100:9820</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>
3.在hadoop中配置hdfs-site.xml
命令：vi hdfs-site.xml
在configuration中指定HDFS的数量
<configuration>
<!-- 指定