HDP平台
文章平均质量分 91
大兰子小丸子
向优秀而努力的人看齐。
未来将专注于Hive数仓搭建、MySQL数据分析、Python开发、Airflow任务管理 这四方面的学习,也会不定期写博客记录成长~
展开
-
HDP2.3.2升级到HDP2.3.4
HDP2.3.2升级到HDP2.3.4HDP232升级到HDP2341版本对应1 HDP-Ambari-Spark版本对应2 HDP234 的组件版本3 spark152在hdp运行条件2准备1 检查service action 的start stoprun service check2启动所有服务并清除警告3 保证没有maintenance状态的服务4 时间服务ntpd启动停止原创 2016-01-18 19:44:07 · 4221 阅读 · 0 评论 -
Ambari 2.1安装HDP2.3.2 之 二、需求配置说明
二、需求配置说明Ambari 安装hortonworks相应ambari版本可以支持的hdp版本如下: 图2.0我们选择的是ambari2.1.2,hdp是2.3.2.0 此时我们准备好一台纯净虚拟机作为master机,完整克隆出两台slave机。 注意:通过ambari安装hdp,并不能安装hue。我们想要安Hue,所以需要手动安装。而hue不支持centos7下的hdp2.3.x,所以原创 2016-05-30 09:04:09 · 3743 阅读 · 0 评论 -
Ambari 2.1安装HDP2.3.2 之 一、HDP介绍
一、HDP(一)简介HDP全称是Hortonworks Data Platform,是由一家美国大数据公司Hortonworks开发的企业级Hadoop平台。 Hortonworks致力于帮助客户利用Hadoop开源大数据平台管理数据。HDP是完全在开源的环境下设计、开发和构建的,它以 YARN 作为其架构中心,该平台支持一系列处理方法——批处理、交互式处理、实时处理。(二)功能与特点HDP的功能翻译 2016-05-30 08:55:41 · 7297 阅读 · 0 评论 -
Amabri 2.1安装HDP2.3.2 之 三、开始配置基本环境
三、开始配置基本环境1.配置 SSH1)在Ambari Server host执行下列语句,一路回车,生成公钥和私钥。# ssh-keygen -t rsa2). 将公钥文件(id_rsa.pub)追加到 authorized_keys.# cat ~/.ssh.id_rsa.pub >> ~/.ssh/authorized_keys# chmod 600 ~/.ssh/authorized_ke原创 2016-05-30 09:33:39 · 4254 阅读 · 0 评论 -
Ambari 2.1 安装HDP2.3.2 之 四、安装ambari
四、安装amabri在五 2 (5)那一步,我选择的是非默认的mysql数据库,所以需要提前做些安排。当然,你可以选择默认的PostgreSQL 数据库。1.查看下现有的资源库配置信息:# yum repolist 会出现和以下相近的信息。 2.开始安装amabri-server :# yum install ambari-server安装过程终端会输出以下信息,最后提示安装完成。下面请见 五、配翻译 2016-05-30 09:49:08 · 2970 阅读 · 0 评论 -
Ambari 2.1安装HDP2.3.2 之 六、安装部署HDP集群 详细步骤
六、安装部署HDP集群浏览器访问 http://master:8080,进入amabri登录页面,用户名:admin,密码: admin选择 Launch Install Wizard: 1. Get started给集群起个名字,这里是 BigData:2. Select stack选择 hdp2.3, 将除redhat6 以外的复选框去掉勾。 并且将...原创 2016-05-30 15:35:43 · 17335 阅读 · 4 评论 -
Ambari 2.1安装HDP2.3.2 之 七、自定义HDP服务
以zeppelin为例,它是一个基于网页的notebook,可以进行数据分析与可视化,zeppelin里有个概念是解释器,解释器使得很多后端语言能够像插件一样在zeppelin中使用,例如 Spark,、Python、sql、shell等等。具体介绍看zeppelin官网。 添加zeppelin服务时不必关掉其他服务。 我要用到python,而支持python的话需要自己编译zeppelin原创 2016-08-16 18:30:20 · 2536 阅读 · 0 评论 -
Ambari 2.1安装 HDP2.3.2 之 五、配置amabri-server
五、配置amabri-server配置ambari-server之前要先建立amabri要使用的数据库。1.为ambari建立数据库# yum install mysql-connector-java# mysql -u root -pmysql> USER 'ambari'@'%' IDENTIFIED BY 'glj887'; mysql> GRANT ALL PRIVILEGES ON翻译 2016-05-30 15:41:17 · 6225 阅读 · 0 评论