大数据
GuiFuShenGong123
这个作者很懒,什么都没留下…
展开
-
zookeeper与hadoop整合
介绍在Hadoop1.X版本中namenode只支持一个,我们知道HDFS的读或者写都需要先去访问namenode,namenode其实就相当于Hadoop集群中的Master,如果namenode挂掉,整个Hadoop集群将无法使用。这就是我们说的单点故障问题。在Hadoop2.X版本之后提供了Hadoop的高可用,namenode可以配置两个,由Zookeeper管理,一个namenode处...原创 2019-12-09 21:25:32 · 2215 阅读 · 0 评论 -
hadoop完全分布式
hadoop完全分布式我们本次讲的是在之前搭建的项目之下进行进一步搭建的;当然也可以按照这个搭建不过hadoop的一些基础环境还需要自己搭建(可以观看本人之前的文章一步步到这)。大概流程0.准备几台虚拟机安装好hadoop和配置好他的一些基本配置文件;也要安装jdk 是hadoop的基本运行环境。1.修改一些配置文件例如:hdfs-site.xmlslavesyarn-site....原创 2019-11-27 18:20:23 · 135 阅读 · 0 评论 -
Linux虚拟机克隆
虚拟机虚拟机是大数据学习的一个必备的软件;他可以模拟多台服务器;但是对系统的要求有点高 今天我们讲解虚拟机克隆。 首先打开我们的虚拟机上面是我们创建的虚拟机;创建过程参考他出。我们讲克隆。首先是选中你需要克隆的虚拟, 傻瓜式点击到下面哪一步 第一个是你克隆后需要改的名。 第二个是你虚拟机存储的位置;建议不要存在c盘。 紧接着克隆完成对虚拟机进行修改。 ...原创 2019-11-27 17:41:27 · 130 阅读 · 0 评论 -
hadoop在yarn上运行
YARN上运行MapReduce程序这里接着上面的博文接着写的植入代码设置一些配置[root@zhiyou01 hadoop-2.7.3]# cd etc/hadoop/对这里的文件进行修改[root@zhiyou01 hadoop]# vi yarm-env.sh[root@zhiyou01 hadoop]# vi yarn-env.他们的jdk是被注释的解注释修改成自己的jd...原创 2019-11-26 16:57:09 · 165 阅读 · 0 评论 -
hadoop伪分布式
伪分布式创建流程首先是单节点配置之后,在后面追加几个配置文件。(如果没有配置看本人的博客);在[root@zhiyou01 hadoop-2.7.3]# cd etc/hadoop/下修改core-site.xml和hdfs-site.xml//core-site.xml添加<configuration><!-- 指定HDFS中NameNode的地址 -->...原创 2019-11-26 12:14:17 · 105 阅读 · 0 评论 -
Hadoop单节点模式
什么是Hadoop利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统;可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。Hadoop的优点、Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理 。可靠:...原创 2019-11-25 21:01:27 · 706 阅读 · 0 评论