Vm虚拟机 想要在windows电脑上操作linux操作系统需要安装这个软件
CentOS 是linux操作系统
配置
linux里面创建文件夹<mkdir>
1.在/opt文件下分贝=别创建两个文件夹(software和module)
注.Software里面存放我们解压前的文件
Module里面存放我们解压后的文件
2.解压jdk到module文件夹里
命令:tar
(1)需要切换到software文件夹下
命令:cd /opt/software
(2)解压文件
tar -zxvf (文件名) -C /etc/profile
4.配置JDK的环境变量
(1)命令输入:vi /etc/profile
<%--comment--%>注释
多行注释<%/*注释语句*/>
单行注释<%//注释语句%>
HTML注释<!--comment【%=expression=%】comment--!>
<%=new java.util.Date()%>-->时间的显示
<%@ include file="文件名" %>
2021年10月13日星期三,课堂笔记
一、本地模式
hadoop去操作
目标1:利用本地hadoop实现单词个数的统计
(1)需要包含内容的文件(统计单词个数的文件)
(2)在hadoop中执行文件
(3)查看执行结果。
二.、伪分布部署
命令:hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordocunt(操作) /opt/text/input/(操作那个文件) /opt/text/output/count.txt(执行后的结果存放位置)
删除文件夹的命令:rm-R 目录名称
移动的命令
1.安装虚拟机,镜像(CentOS)
2.修改主机名,ip地址
3、ip地址和主机名映射
4、网络配置{1、虚拟机 2、windows}
5、moba 安装连接
6、安装hadoop 、jdk
7、配置环境变量
8、hadoop布置{1、本地布置 2、伪分布式, 3、安全分布式}
伪分布式布署:
课堂预习:
core-site-xml
hafs-site.xml
这节课:yarn-site.xml
mapred -site.xml
#jps
7340 jps
#hdfs --daemon start namenode (yps 查看进程)
#jps
7393 NameNode
7458 Jps
#hdfs --daemon start datanode
# jps
7393 NameNode
7572 Jps
7512
DataNode
#cd / opt/module/hadoop -3.1.3/etc/hadoop/
#pwd pwd(查看当前所在位置)
/opt/module/hadoop -3.1.3/etc/hadoop/
#ll
# vi yarn -site.xml
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
*调整的内容是你的是100就是多少<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
退出
#vi mapred -site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
退出
#yarn --daemon start resourcemanager
#jps
7393 NameNode
7636 ResourceManager
7512 DataNode
7854 Jps
cd . . 返回上一层
ll 查看文件
cd logs 切换到logs文件里面
cat 查看文件内容
删除文件 rm -r
上课笔记
HDFS是进行存储的,YARN是进行调度的。
1.切换到hadoop下面的etc(配置文件都在etc下面)
2.在hadoop中配置core-site.xml
Vi core-site.xml
指定HDFS中namenode的地址。将命令放到configuration标签中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>
3.在hadoop中配置hdfs-site.xml
命令:vi hdfs-site.xml
在configuration中指定HDFS的数量
<configuration>
<!-- 指定