hadoop jar包_大数据从入门到深入：Hadoop 志 集群搭建 07 伪集群搭建

11 hadoop的windows伪分布式环境部署

11.1 需要的软件

winutils-master：windows模拟linux 环境

hadoop-2.7.3.tar.gz：hadoop编译后的包

hadoop_conf.tar：hadoop的配置

hadoop_windows.zip：windows的hadoop配置

11.2 前提：需要修改通知级别

11.3 压缩文件解压顺序及方法

1 解压hadoop-2.7.3.tar.gz，到C盘的某个目录下；

2 解压winutils-master.zip，将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3bin目录下，

注意，千万别覆盖bin目录下的其他文件；

3 解压hadoop_conf.tar， 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3etchadoop目录下；全部替换

4 解压hadoop-window.zip，然后将解压的hadoop文件夹内的内容做修改后，替换到hadoop-2.7.3etchadoop；

11.4 在WINDOWS上配置环境变量

1）HADOOP_HOME

2）把hadoop的bin和sbin配置到path环境变量里

;%HADOOP_HOME%bin;%HADOOP_HOME%sbin

11.5 设置hadoop配置文件

core-site.xml

hdfs-site.xml

maprd-site.xml

yarn-site.xml

hadoop-env.cmd

把修改好的配置文件覆盖hadoop-2.7.3etchadoop目录

11.6 测试hadoop命令

win10支持Linux命令的工具：windows powershell 工具

打开cmd输入set查看设置的环境变成是否生效

输入hadoop version查看hadoop的版本

11.7 格式化namenode

hadoop namenode -format

11.8 启动hdfs

start-dfs.cmd 之后弹出两个窗口

namenode

datanode

之后在电脑上的c盘就能看到tmp目录，里面有namenode文件和datanode文件

启动成功之后就可以查看hdfs的web页面

11.9 启动yarn

start-yarn.cmd之后弹出两个窗口

resourceManager

nodeManager

查看yarn的web界面

11.10 测试hdfs是否好用

11.11 开启和关闭

start-all.cmd开启hadoop

stop-all.cmd关闭hadoop

通过

ctrl+shift+t：搜jar包里面的类

ctrl+shift+r：搜当前工作空间的类

debug：

f3：直接进入类、方法里面

f6：走一行

f8：运行到下一个断点

f4：当你执行f3时，进入到抽到类中，而类里面是个抽象方法，用f4 去找该抽象方法的具体实现方法。
回退：alt+←

如何打断点：

当你要调用某个方法的时候，先f3进入目标方法，在相应位置打断点

再按f6 进入到目标方法的断点，如果你没进来，说明没有走这个方法。

调试hadoop命令

1）配置pom.xml

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>2.7.3</version>

</dependency>

2）创建资源文件夹，把etc/hadoop/core-site.xml 复制到 资源文件夹下

3）模仿FsShell 类的main()，来调用FsShell 命令。

hadoop fs -get

hadoop fs -ls /