![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据框架应用学习
GISer.Wang
这个作者很懒,什么都没留下…
展开
-
(1)Hadoop 1.2.1伪分布搭建
引言Hadoop121 的下载地址为Hadoop121下载连接安装Java环境SSH 免密码登录安装配置Hadoop121 伪分布1 将hadoop配置到环境变量2 修改Hadoop配置文件3 格式化NameNode4 启动Hadoop查看Hadoop伪分布是否成功1.引言 在本篇博客中主要介绍一下:如何在Linux操作系统中搭建Hadoop的伪分布,在本篇博客中使用的环境原创 2017-05-07 14:49:21 · 984 阅读 · 0 评论 -
(13)HBase 1.2.6 集群部署
引言搭建Hadoop集群搭建HBase集群1 解压HBase并改名2 修改配置1.引言 在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群,其次HBase需要使用zookeeper进行管理,因此我们也需要搭建zookeeper原创 2017-12-15 22:32:24 · 1457 阅读 · 0 评论 -
(11)Hadoop 2.6.1 集群部署---手工切换HA
引言搭建Hadoop261 集群1 修改hostname2 建立hostname和ip的映射关系3 关闭防火墙4 SSH免密码登陆5 安装JDK6 hadoop261的集群部署7 验证hadoop是否安装成功1. 引言 在生产环境中NameNode的高可用是非常重要的,一旦NameNode宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下Hadoop2.6.1的HA部原创 2017-12-15 20:37:22 · 1475 阅读 · 0 评论 -
(12)Hadoop 2.6.1 集群部署---自动切换HA
引言配置集群的hostname和IP映射1 修改hostname2 配置hostname和ip的映射关系以及防火墙3 关闭防火墙配置集群免密码登录安装JDK搭建zookeeper集群hadoop261的集群部署7 验证hadoop是否安装成功1. 引言 在上篇博客中介绍了Haddop的手动切换NameNode,这在生产环境中还是不尽人意,因为工作人员可能并不会及时的知道N原创 2017-12-15 21:38:58 · 1597 阅读 · 0 评论 -
(9)Hadoop 2.6.1 集群部署——未配置HA
引言搭建Hadoop261 集群1 修改hostname2 建立hostname和ip的映射关系3 关闭防火墙4 SSH免密码登陆5 安装JDK6 hadoop261的集群部署7 验证hadoop是否安装成功1. 引言 在前面的博客中,我曾经介绍了Hadoop的伪分布配置,但是在实际工作中最常见的是集群部署,在本篇博客中就主要介绍一下Hadoop2.6.1的集群部署(未配置原创 2017-12-14 22:31:22 · 1359 阅读 · 0 评论 -
(10)Zookeeper 3.4.9 集群部署
引言Zookeeper 集群部署1 修改hostname2 建立hostname和ip的映射关系3 关闭防火墙4 SSH免密码登陆5 安装JDK6 zookeeper集群安装1.引言 在前面的博客中介绍了Zookeeper的伪分布部署,在本篇博客中主要介绍一下Zookeeper的集群部署,在本篇博客中使用三台机器部署Zookeeper集群,如下表所示: HOST名称原创 2017-12-14 23:51:00 · 1396 阅读 · 0 评论 -
(8)Spark 2.0.0 查看job 历史日志
引言启动Spark历史日志1 安装Spark2 修改配置文件spark-defaultsconf3 修改配置文件spark-envsh4 创建日志目录5 启动spark历史日志web端6 浏览器查看是否启动成功1.引言 在使用Spark的时候,有时候我们会关注job的历史日志,但是在Spark中默认情况下,历史日志是关闭的,在本篇博客中主要介绍一下如何启动spark的历史日志原创 2017-12-13 16:43:57 · 4729 阅读 · 0 评论 -
(7)Zookeeper 3.4.9 伪分布安装
引言安装JDK环境zookeeper的伪分布安装1 解压缩zookeeper并改名2 创建zoo1cfg配置文件并修改内容confzoo_samplecfg3 创建zoo2cfg配置文件并修改内容confzoo_samplecfg4 创建zoo3cfg配置文件并修改内容confzoo_samplecfg5 执行命令产生存储数据的目录6 产生标记文件7 启动三个节点8 查看进程是原创 2017-12-13 13:56:09 · 1302 阅读 · 0 评论 -
(6)Spark 2.0.0 伪分布安装
引言Hadoop伪分布安装Scala安装Spark伪分布安装1.引言 Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有MapReduce所具有的优点;但不同于MapReduce的是——中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 在本篇博客中主要介绍一下S原创 2017-12-13 00:20:12 · 2429 阅读 · 0 评论 -
(5)HBase 1.2.6伪分布安装
引言Hadoop安装HBase安装1 使用HBase自带的zookeeper2 将HBase解压到usrlocal文件夹并改名3 修改配置文件confhbase-envsh4 修改配置文件confhbase-sitexml验证是否安装成功1.引言 HBase是一个分布式的、面向列的开源数据库,HBase是建立Hadoop领域的数据库。HBase不同于一般的关系数据库,它是原创 2017-12-11 00:34:39 · 1990 阅读 · 0 评论 -
(4)Zookeeper 3.4.9安装部署---Standalone模式
什么是Zookeeper安装JDK环境安装Zookeeper1. 什么是Zookeeper? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 在本篇博客中主要介绍一下如何原创 2017-12-07 22:40:27 · 1450 阅读 · 0 评论 -
(3)Hive 1.2.1 安装部署
引言安装Hive 1211 首先将压缩包解压并改名为了方便2 修改四个模版文件hiveconf文件夹下面3 编辑hive-sitexml将改文件属性设置清空4 修改hive的配置文件hivebin文件夹下面5 将hive的 jline-212jar复制到hadoop的指定文件夹下面6 启动hive安装成功配置MySQL管理Hive关系1 安装MySQL数据库2 拷贝数据库驱动到H原创 2017-05-09 17:17:08 · 933 阅读 · 1 评论 -
(2)Hadoop 2.6.1伪分布搭建
引言安装Java环境SSH 免密码登录安装配置Hadoop261 伪分布1 将Hadoop安装包解压2 修改Hadoop配置文件21 修改etchadoophadoop-envsh配置文件22 修改配置文件 etchadoopyarn-envsh配置文件23 修改etchadoopmapred-envsh配置文件24 修改文件etchadoopcore-sitexml25 修改文原创 2017-05-08 12:56:09 · 1724 阅读 · 0 评论 -
(14)Spark 2.0.0 集群部署
引言搭建Hadoop集群安装scala环境安装spark集群1 解压spark安装包并改名2 修改配置文件spark-envsh3 修改配置文件spark-defaultsconf4 修改slaves配置文件5 将spark分发到其他节点并修改配置6 启动Spark集群7 查看Spark集群是否启动成功1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将原创 2017-12-15 23:59:18 · 1639 阅读 · 0 评论