隔壁小王的博客

一、准备工作 操作系统： centos6.8远程连接工具： Xshell、Xftp软件： findbugs-1.3.9.tar.gz protobuf-2.5.0.tar.gz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.5-s

启动HDFS和YARN方式 1、逐一启动 hadoop-daemon.sh、yarn-daemon.sh 2、分开启动 start-dfs.sh、start-yarn.sh 3、一起启动 start-all.shstart-dfs.sh在HDFS NameNode所在的机器上去运行，底层是到每个服务组件的机器上去执行 hadoop-deamon.sh start

总结mapreduce运行的三种模式： 1.可以运行在本地，在单机模式情况下，输入输出文件在本地系统中； 2.运行在本地，输入输出的文件在HDFS文件系统之中（开发MapReduce时，常见的一种测试BUG的方式）； 3.运行在分布式资源管理系统YARN之上，输入输出的文件存放在HDFS文件系统中。一个Hadoop伪分布式环境中，服务组件，基本的配置： HDFS: N

1.hdfs文件系统目录要求（建议） /user /{username} --用户名 /mr --MapReduce类型应用 /wordcount --应用的名称 /input --要处理的文件

1.为确保不出错误，设置yarn-env.sh中JAVA_HOME环境变量 JAVA_HOME=/opt/modules/jdk1.7.0_252.启动yarn [root@hadoop-yarn hadoop-2.6.5]# sbin/yarn-daemon.sh start resourcemanager [root@hadoop-yarn hadoop-2.6.5]# sb

1.创建目录[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir /user[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir /user/cyhp[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir /user/cyhp/input[r

1.关闭防火墙、禁用SELinux 2.设置静态IP地址 3.修改HostName 4.IP与HostName绑定 5.安装JDK 6.编辑配置文件： hadoop-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_25core-site.xml<configuration> <property>

一、分布式系统市建立在网络之上的软件系统，内聚性和透明性。 二、Hadoop四个模块 Hadoop Common 为其他Hadoop模块提供基础设施 Hadoop HDFS 一个高科好、高吞吐量的分布式文件系统 Hadoop MapReduce 一个分布式的离线并行计算框架 Hadoop YARN

1、安装eclipse 下载linux版本eclipse安装包，直接解压即可。（设置好java环境变量） 新建eclipse工作空间： mkdir /opt/tools/workspace2、重新解压eclipse源码[root@hadoop-yarn workspace]# tar -zxf /opt/softwares/hadoop-2.6.5-src.

SSH是一种网络协议，用于计算机之间的加密登陆。 如果一个用户从本地计算机，使用SSH协议登陆另一台远程计算机，可以认为，这种登陆是安全的，即使被中途截获，密码也不会泄露。 公钥加密 1.远程主机收到用户的登陆请求，把自己的公钥发给用户。 2.用户使用这个公钥，将登陆密码加密后，发送回来。 3.远程主机用自己的私钥，解密登陆密码，如果密码正确，就同意用户登陆。 命