han的博客

原创 Springboot自动配置原理

原创 超详细Hadoop高可用安装(完结篇)

前面完成了zookeeper的安装，接下来启动journalnode。之所以要启动journalnode的原因是为了使两台namenode间完成数据同步一、启动journalnode1.在node01、02、03三台机子上分别把journalnode启动起来，输入下面命令：hadoop-daemon.sh start journalnod2.用jps命令检查journalnode是否启动二、格式化namenode1.在node01上执行下面命令hdfs namenode –format

原创 超详细Hadoop高可用安装(三)——Hadoop高可用式配置与zookeeper的安装

前面完成伪分布式的Hadoop搭建后，接下来进行Hadoop高可用式的安装一、文件修改配置1.到下面目录下cd /opt/han/hadoop-2.6.5/etc/hadoop2.修改hdfs-site.xml文件vi hdfs-site.xml3.删掉下面的配置 <property> <name>dfs.namenode.secondary.http-address</name> <value>node03:50090&

原创 超详细Hadoop高可用安装(二)——Hadoop的伪分布式安装与配置

完成前面的准备工作后，接下来进入Hadoop的安装一、Hadoop的安装1.将hadoop2.6.5安装包通过xftp软件放到node01中2.在node01中将hadoop2.6.5安装包解压，输入命令tar xf hadoop-2.6.5.tar.gz -C /opt/han3.到/opt/han目录下查看文件是否解压完成，输入命令cd /opt/hanll4.想要在任意目录下启动hadoop，则要修改配置文件，输入vi /etc/profile在其中追加export HA

原创 超详细Hadoop高可用安装(一)——安装Hadoop前的准备

在前面的文章，我们已经将JDK安装到了第一台Linux，node01中，接下来我们将JDK分发到另外三台机子上一、jdk的分发与安装1.打开4台虚拟机，并用XShell连接2.在node01中，cd到jdk所在的目录，输入命令> ll来查看当前目录的文件3.输入下面命令将jdk分发另外三台机子上> scp jdk-7u67-linux-x64.rpm node02:`pwd`> scp jdk-7u67-linux-x64.rpm node03:`pwd` >

原创 超详细Hadoop高可用安装(开篇)——初识Hadoop

一、什么是Hadoop1 ) Hadoop是一个由Apache基金会开发的分布式系统基础架构。所谓的分布式系统，简单来说就是一个大任务交个多个服务器去帮助解决运行。而基础架构是指后面的架构像Hive、HBase以及Spark都或多或少地基于Hadoop去运行，像它们都要基于Hadoop去存储2 ） 功能：主要用来解决海量数据的存储和分析计算问题3 ）从广义上说，Hadoop指的是一个广义的概念：Hadoop生态圈二、Hadoop的组成1).Hadoop1.xHadoop1.x由以下四部分组成：

原创 超详细Hadoop环境搭建(四)——Linux的jdk安装

前面的文章里，我们已经将外部的环境全部搭建起来了，接下来我们进行Linux的jdk安装在安装之前，需要使用两样工具：1.XShell软件2.Xftp软件[注]：XShell软件是为了更快捷地操作虚拟机里的Linux系统，而Xftp软件是为了方便让自己电脑的文件传输到Linux系统中，关于这两样工具的安装就不在此作过多赘述一、JDK的安装1.打开并登录一台Linux node012.打开Xshell软件，连接node012.在XShell中打开Xftp3.打开这个界面后，我们将下载到

原创 超详细Hadoop环境搭建(三)——虚拟机的克隆与网络配置

前面我们已经完成一台Linux虚拟机的搭建，接下来我们将克隆多台Linux虚拟机。一、虚拟机的克隆1.打开并登录搭建好的第一台虚拟机2.输入命令，删除“70-persistent-net.rules”文件rm –fr /etc/udev/rules.d/70-persistent-net.rules[注]:如果保留这个文件，在通过该虚拟机克隆的时候会带来以下问题: i.文件被带到新的虚拟机中 ii.vm变更了新的虚拟机的mac地址 iii.新机器不能使用eth0接口 导致你配置的/e

原创 超详细Hadoop环境搭建(二)——Linux的网络配置

在上一篇中我们已经完成了Linux的安装，接下来我们将Linux的网络配置好打开VMWARE软件，找到“编辑”，点击“虚拟网络编辑器”点击VMnet8，记住下面的子网IP和子网掩码点击NAT设置记住网关IP下面设置电脑的DNS服务器，找到网络右键点击，然后选择打开“网络和Internet设置”找到更改适配器选项找到使用网络的适配器右键点击属性点击网络选项卡，点击IPV4，然后点击属性选择手动配置DNS服务器，输入地址，点击确定接下来进入Linux，

原创 超详细Hadoop环境搭建(一)——Linux的安装

在安装之前，我们需要准备：Linux镜像文件、VMWARE虚拟机下面以CentOS 6.5为例进行安装一、 创建虚拟机1. 以管理员身份打开VMWARE软件2. 选择创建新的虚拟机