基于apache ambari 的大数据平台搭建并运行WordCount

最新推荐文章于 2024-08-07 09:49:19 发布
最新推荐文章于 2024-08-07 09:49:19 发布
阅读量1.4k 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： apache wordcount virtualbox ambari hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_35570545/article/details/71948736
版权
本文介绍了如何在3台RHEL 6.4虚拟机上搭建基于Apache Ambari的大数据平台，包括配置DNS、安装http服务、传输和解压软件包、设置SSH免密登录、安装NTP、关闭防火墙和SELinux，以及安装Ambari Server。在Ambari上选择了HDFS和MapReduce服务进行部署，并演示了运行WordCount示例。
摘要由CSDN通过智能技术生成

操作系统：3个 rhel 6.4，内存2g，动态硬盘20g。
虚拟机软件：virtualBox

注意：
1、yum可能要重新安装，可百度解决
1、确保三个host能互相ping通

每个host配置DNS

vi /etc/hosts

这里写图片描述

为host4安装http服务

yum install httpd

这里写图片描述

用Xftp4软件连接host4的文件系统

这里写图片描述

连接成功后显示

这里写图片描述

进入目录/var/www/html

这里写图片描述

将三个压缩包从windows传到host4的上面那个目录里，分别是：
HDP：HDP-2.6.0.3-centos6-rpm.tar.gz
HDP-UTILS：HDP-UTILS-1.1.0.21-centos6.tar.gz
Ambari 2.5.0 ：ambari-2.5.0.3-centos6.tar.gz

这里写图片描述

解压

tar -zxvf ambari-2.5.0.3-centos6.tar.gz
tar -zxvf HDP-2.6.0.3-centos6-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.21-centos6.tar.gz

解压时注意空间不够的问题，最好先解压大的文件，解压完删除对应的压缩文件。

启动http服务

这里写图片描述

在浏览器上输入10.132.102.71/ambari/

最低0.47元/天 解锁文章
水裕月
关注
专栏目录
Apache Ambari 部署
u010741949的博客
12-30 265
参考http://ambari.apache.org/1.2.2/installing-hadoop-using-ambari/ 准备工作 1 理解组件 Ambari 支持的Hadoop组件主要分为3层： Core Hadoop: Apache Hadoop基础组件. Hadoop Distributed File System (HDFS): 设计用来运行 MapReduce 引...
ambari 搭建大数据平台
01-02
ambari 搭建分布式的大数据平台，可对大数据平台进行集群管理
使用ApacheHadoop构建大数据处理平台
程序员光剑
01-21 798
1.背景介绍 大数据处理是现代科学技术中的一个重要领域，它涉及处理和分析海量数据，以挖掘有价值的信息。Apache Hadoop 是一个开源的分布式大数据处理框架，它可以处理海量数据并提供高性能、可扩展性和可靠性。在本文中，我们将讨论如何使用 Apache Hadoop 构建大数据处理平台。 1. 背景介绍 大数据处理是指处理和分析海量数据，以挖掘有价值的信息。随着数据的增长，传统的数据处理...
Apache Ambari 项目教程
最新发布
gitblog_00169的博客
08-07 281
Apache Ambari 项目教程 incubator-ambariMirror of Apache Ambari (Incubating)项目地址:https://gitcode.com/gh_mirrors/in/incubator-ambari 1. 项目的目录结构及介绍 Apache Ambari 是一个用于监控、管理和生命周期管理 Hadoop 集群的开源项目。以下是该项目的主要目录...
基于Apache Kylin 构建大数据分析平台
07-02
基于Apache Kylin 构建大数据分析平台,解决Hadoop查询速度的问题，做到亚秒级的查询速度
Ambari-大数据平台的搭建利器
08-23
Ambari搭建的详细说明文档，通过本地源搭建Ambari服务
001-Ambari-大数据平台搭建利器(一)
zhangxiongcolin的专栏
07-29 2408
    微信搜索公众号：BearData，关注更多内容。 Ambari是Hortonworks开源的大数据生态圈的管理软件，具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成)，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。搭建大数据平台主要分为两部分，一部分是大数据平台管理系统搭建，即Ambari安装，另一部分通过Ambari安装大数据生态...
六大值得关注的Apache大数据项目
qq_27632581的博客
05-24 1915
概述：传统的数据处理程序面对日益庞大而复杂的数据，已无法再进行有效的获取及优化分析。而这正是新一代的大数据应用程序所要解决的问题。近期Apache软件基金会(ASF)又一次将一批有趣的开源大数据项目升级为Apache顶级项目。这意味着，这些项目将能够得到积极的发展和社区的大力支持。 传统的数据处理程序面对日益庞大而复杂的数据，已无法再进行有效的获取及优化分析。而这正是新一代的大数据应
使用Apache Ambari管理Hadoop
系统运维
12-24 205
随着Hadoop越来越普及，对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台，如Cloudera Enterprise Manager，但Apache Ambari是第一个开源实现。Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapRe...
hadoop集群监控工具Apache Ambari安装配置教程
zxsted的专栏
11-02 1256
hadoop集群监控工具Apache Ambari安装配置教程 出处：caoyuanzhanlang 作者：草原战狼 日期：2013-3-6 11:42:25 [大 中 小] 评论: 0 | 我要发表看法 Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop M
ambari安装hdp时遇到FNDQ的问题
弯道超车
09-06 563
使用ambari安装hdp时，在confirm host时，总是报错，分析log后发现时hostname的问题，其中有个重要的关键词：FNDQ FQDN是Fully Qualified Domain Name的缩写, 含义是完整的域名. 例如, 一台机器主机名(hostname)是host1, 域后缀(domain)是example.com, 那么该主机的FQDN应该是host1.example...
ambari-2.6.2.tar.gz 安装包
12-26
ambari-2.6.2 安装包
基于Apache Ambari搭建Hadoop大数据平台
家辉自留地
02-28 1万+
基于Apache Ambari搭建Hadoop大数据平台 作者：雨水/家辉  日期：2017年2月28日 CSDN博客：http://blog.csdn.net/gobitan 摘要：对于大数据的初学者来说，搭建一个Hadoop大数据基础平台不是一件容易的事。而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。本文以测试环境为例，详细
基于ambari搭建hadoop生态圈大数据组件
大数据创新开发者、大数据技术开发、创新性大数据分享
01-22 1万+
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Ambari 功能简介
热门推荐
程序小白的探索空间
09-26 2万+
背景最近在做关于Hadoop集群的可视化部署相关的调研，发现了Ambari这个有趣的东西，在使用的过程中，整理了一部分功能列表，在此分享。Ambari简介Ambari是Hortonworks开源的Hadoop平台的管理软件，具备Hadoop组件的安装、管理、运维等基本功能，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。功能列表操作级别：
云平台hadoop搭建以及wordcount实例运行
weixin_34221332的博客
04-14 180
2019独角兽企业重金招聘Python工程师标准>>> ...
用Ambari一键部署大数据平台
十色花的博客
07-09 4393
安装前准备先明确几个概念： 1. Ambari只能安装Hortonworks Data Platform，即Hortonworks的开源Hadoop，不支持Apach的Hadoop平台； 2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的，不能使用Ambari来管理； 再说几个注意事项： 1. Ambari默认的安装方式是使用yum，从远程下载HDP组件安装，而HDP平台安装...
Apache Kylin在链家GAIA大数据平台中的实践
架构师的成长之路的博客
05-10 1734
Apache Kylin在链家GAIA大数据平台中的实践更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记kafka storm 实战 (干货)概述GAIA作为链家大数据服务的一站式平台，承接和管理集团几...
ambari大数据平台搭建
06-01
下面是一个简单的Ambari搭建大数据平台的步骤： 1. 安装CentOS操作系统，并进行基本的系统配置。 2. 安装Java运行环境和SSH服务。 3. 下载Ambari安装包，并进行安装。 4. 配置Ambari Server和Agent。 5. 在Ambari ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值