Hadoop集群
我是王小贱
1,东方欲晓,莫道君行早!!!
2,今天你多学一门技术,明天少说一句求人的话。
展开
-
Hadoop集群搭建(五):hadoop相关组件的配置(安装相关的软件)
五:开始安装需要的组件: 三个节点上需要安装的东西: 1,在hadoop1上安装hadoop-hdfs-namenode.x86_64 :命令:[root@hadoop1 ~]# yum install -y hadoop-hdfs-namenode.x86_64 等待完成即可:(如果出现错误。重新执行该命令) 2,在hadoop1上安装h...原创 2018-11-20 18:52:03 · 474 阅读 · 0 评论 -
Hadoop集群搭建(六):hadoop配置namenode服务
六:配置时间同步:找到虚拟机设置:点击选项-->找到VMware Tools,打开时间同步即可: 注:如果你是创建一台虚拟机,其他几台都是这台克隆过去的,就可以不用配置时间同步也可以进行。 七:配置文件 1,进入hadoop配置文件目录:命令: 2,更改配置文件core-site.xml : 命令:...原创 2018-11-20 19:19:38 · 10151 阅读 · 0 评论 -
Hadoop集群搭建(七):hadoop启动服务,开启各节点进程
七:hadoop启动服务,开启各节点进程创建tmp目录:(只需要在一台虚拟机上执行即可,我们三台虚拟机已经是一个集群,任意一台虚拟机执行即可)(切换hdfs账号创建临时文件夹)在集群中创建tmp文件夹,并赋权限为1777命令:[root@hadoop1 ~]# sudo -u hdfs hadoop fs -mkdir /tmp 配置运行框架,在程序运行时给程序分配资...原创 2018-11-20 19:30:02 · 6060 阅读 · 0 评论 -
Hadoop集群搭建(一):前期准备工作,配置主机名和JDK环境变量
配置要求: 三台虚拟机三台虚拟机主机名一次为: Hadoop1:192.168.175.132 Hadoop2:192.168.175.130 Hadoop3:192.168.175.131 配置主机名和JDK环境变量: 1,修改主机名为:hadoop1vi /etc/sysconfig/ne...原创 2018-11-19 19:57:05 · 654 阅读 · 0 评论 -
Hadoop集群搭建(二):配置固定ip地址
主要两种配置方式:如果是服务器版本的虚拟机,则采用命令行模式配置:,1,更改网络的网卡名称:(更改配置文件)命令:[root@hadoop2 ~]# vi /etc/udev/rules.d/70-persistent-net.rules将网卡名称同意改为eth0:更改完成后重启虚拟机 2,查看虚拟机的网管等信息: 查看下虚拟机net模...原创 2018-11-19 20:01:37 · 4144 阅读 · 0 评论 -
Hadoop集群搭建(三):配置SSH免密钥登录
1,生成公钥和私钥:命令:[root@hadoop2 ~]# ssh-keygen -t rsa 2,查看文件:在/root/.ssh 目录下会生成两个文件: 3,将被管理机上刚才生产的id_rsa.pub赋值成authorized_keys命令:[root@hadoop2 .ssh]# cat id_rsa.pub > autho...原创 2018-11-19 20:06:00 · 880 阅读 · 0 评论 -
Hadoop集群搭建(四):hadoop配置网络yum源
1,进入yum源的目录,命令:[root@hadoop1 ~]# cd /etc/yum.repos.d/ 2,下载网络yum源:进入官网查看hadoop的官方配置文档:hadoop官方配置yum源文档介绍文档介绍了yum源配置的两种方式,一种配置本地yum源(比较麻烦),此处我采用配置网上yum源的方式:点击我们选用的版本,会出现下载链接:复制下载...原创 2018-11-19 20:17:49 · 1107 阅读 · 0 评论 -
Hadoop中各节点的含义
1.Namenode 目录的管理者,每一个集群都有一个,记录实时的数据变化,如果没有namenode,HDFS就无法工作,系统中的文件将会全部丢失,就无法将位于不同datanode上的文件快(blocks)重建文件。因此它的容错机制很有必要。它主要负责:接收用户的请求;维护文件系统的目录结构;管理文件与Block之间的练习;2.Datanode是文件系统的工作节点,他们根据客...转载 2018-11-23 10:34:15 · 1065 阅读 · 0 评论 -
Hadoop集群搭建(八):安装Spark
1,安装scala:将下载好的scala安装包解压到指定的目录下:这里我解压到的/root目录下命令:[root@hadoop1 ~]# tar -xvf scala-2.10.5.tgz 2,安装Spark:将下载好的spark安装包解压到指定目录下:这里我解压到的/root目录下 命令:[root@hadoop1 ~]# tar ...原创 2018-12-10 11:44:47 · 413 阅读 · 0 评论