Biexiansheng的博客

1：Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2：使用Xsheel软件远程链接自己的虚拟机，方便操作。输入自己ubuntu操作系统的账号密码之后就链接成功了；3：修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts，改过之后即生效，自己可以ping一下，我这里ip对应master，比

2017-09-30 18:12:08 1：错误如图，本来开机准备用一下虚拟机，就出现一个这，为啥记录一下呢，因为网上好多不是很靠谱。原因可能是之前关闭虚拟机的时候不小心出现异常了：2：解决办法：　　个人根据自己的磁盘分区情况，进行修复即可；解决方法，在鼠标停留的地方输入root的密码 执行 fdisk -l 查看磁盘 (Repair filesystem)#

1：如果你报这个错误，第一反应应该是本地的host文件没有配置服务器名称和对应的ip地址，这个反应就对了。贴一下错误和解决方法： 1 java.net.UnknownHostException: master 2 at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method) 3 at java.net.Ine

1：如果有一天，你有幸看到了这个错误，也许你像我一样low，因为此时，你已经准备开发Zookeeper程序了，却还没有把Zookeeper的服务启动起来。 1 org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /eclipse20171118

1：按照上篇博客写的，将各个进程都启动起来：集群规划：    主机名        　　IP                　　安装的软件                    　　　　运行的进程   master     192.168.3.129    　　jdk、hadoop                   　　   NameNode、DFSZKFailoverControl

1：hadoop分布式集群HA模式部署，七台机器跑集群：　　第一台机器：namenode zkfc　　第二台机器：namenode zkfc　　第三台机器：resourcemanager　　第四台机器：resourcemanager　　第五台机器：zookeeper journalnode dataNode nodemanager　　第六台机器：zookeeper jour

1：能否让两个NameNode都正常影响客户端请求？　　应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求，相应请求的必须为Active状态的那一台。2：standBy状态的节点必须能够快速无缝的切换为active状态：　　意味着两个NameNode必须时刻保持元数据的一致；3：HA机制，元数据共享存储，数据同步的问题：　　分布式应用：管理edits(同步

1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。     Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode )和N个数据结点 ( DataNode )组成

1：初学hadoop遇到各种错误，这里贴一下，方便以后脑补吧，报错如下：主要是在window环境下面搞hadoop,而hadoop部署在linux操作系统上面；出现这个错误是权限的问题，操作hadoop是虚拟机的主机用户不是window的主机用户Administrator，所以出现下面的错误，解决办法如下所示（或者修改文件的权限，即所有者都可以进行可读，可写，可执行）：log4j:WA

1：初学hadoop遇到各种错误，这里贴一下，方便以后脑补吧，报错如下：主要是在window环境下面搞hadoop,而hadoop部署在linux操作系统上面；出现这个错误是权限的问题，操作hadoop是虚拟机的主机用户不是window的主机用户Administrator，所以出现下面的错误，解决办法如下所示（或者修改文件的权限，即所有者都可以进行可读，可写，可执行）：log4j:WA

windows下开发hadoop应用程序，hadoop部署在linux环境中，在运行调试时可能会出现无法找到主机，类似异常信息如下：java.net.UnknownHostException: unknown host: master解决办法如下：在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息：192.168.0.55

1：MapReduce的概述：　　（1）：MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.　　（2）：MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。　　（3）：这两个函数的形参是key、value对，表示函数的输入信息。2：MapRedu

1：分布式文件系统（Distributed File System）：（1）：数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。（2）：是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。（3）：通透性。让实际上

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。1：其实网上已经有解决办法了，这里自己脑补一下，也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关：core-site.xml；

Apache-->hadoop的官网文档命令学习：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系

1：多台机器互相免密登陆的思路（默认你的linux操作系统已经安装好ssh）：第一步：在各自的机器上面生成密钥：　　在第1台机器上生产一对钥匙： ssh-keygen -t rsa　　在第2台机器上生产一对钥匙： ssh-keygen -t rsa　　在第3台机器上生产一对钥匙： ssh-keygen -t rsa　　............第二步：将其它机器的公钥拷贝