企业级HDP平台的搭建
公司落地的企业级HDP平台的搭建
在屋顶听歌
Stay Focused And Work Hard !!!
展开
-
HDP安装前准备(一)
说明:在进行HDP安装之前需要进行一些准备工作,根据笔者的实践经验,将之分为以下几个部分对HDP的基本认知 主要讲解HDP的一些相关组件,对HDP提供的大数据平台方案有一个整体印象确认集群部署方案 根据数据处理的实际需求,确认所需集群大小、组件选择、安全方案等 最低资源配置需求 根据实际需求,确认主机能够为集群提供必要的资源配置 系统环境配置重要:进行HDP安装时必要的环境配置,将会转载 2017-08-09 21:18:28 · 1409 阅读 · 0 评论 -
离线安装Ambari(二)
2.1 本地源的准备下载 Ambari : http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz2.2 解压源包创建ambari目录并将源包解压到对应目录下cd /var/www/html/ && mkdir ambaritar -vzxf原创 2017-08-09 21:23:49 · 820 阅读 · 0 评论 -
离线部署HDP 集群(三)
3.1 安装HDP 前先安装Ambari-agent3.11 提前手动安装ambari-agent:(每一节点都安装)在其中一个节点上下载 cd /etc/yum.repos.d/ wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari.repo 并将其baseUrl原创 2017-08-09 21:32:13 · 1680 阅读 · 0 评论 -
Ranger的安装与部署(四)
4.1 PostgreSQL 配置Ranger安装前的准备,Ranger所需的数据库采用Ambari默认的PostgreSQL,针对该数据库对Ranger进行如下相关配置1、 确认postgres正在运行 ps -eaf | grep ambari | grep postgres2、 确认postgres的运行端口netstat -anp | grep ${pid}3、 进入psql命令行sudo原创 2017-08-09 23:16:21 · 4011 阅读 · 0 评论 -
Knox的安装与部署(五)
说明:Knox组件在安装HDP时已通过Ambari自动安装了,如下步骤主是为Ambari与Ranger配置Knox的SSO 5.1 为Ambari设置Knox SSO本节描述如何配置Ambari来使用Knox SSO(单点登录)来验证用户。通过这种配置,试图访问Ambari的未经身份验证的用户将被重定向到Knox SSO登录页面进行身份验证。1、ambari-server setup-sso原创 2017-08-09 23:27:52 · 10282 阅读 · 5 评论 -
LDAP 安装部署(六)
6.1 使用LDAP实现统一用户管理在实现单点登录之前,必须完成对统一用户管理的配置,笔者这里使用的是Knox安装时自带的LDAP Demo进行统一用户管理,如果你有已经建好的LADP服务,也可以直接使用。默认情况下,Ambari使用内部数据库作为用户存储进行身份验证和授权。使用LDAP配置Ambari身份验证 Ldap (在安装ambari的机器上操作,hdp04)1、运行命令根据提示输入相关原创 2017-08-09 23:29:07 · 4031 阅读 · 0 评论 -
Kerberos 安装与配置 (七)
7.1 KDC server的 安装1、安装最新版的KDC server yum install krb5-server krb5-libs krb5-workstation注:KDC (Key Distribution Center)密匙分配中心, 其在kerberos中通常提供两种服务: 1.Authentication Service (AS):认证服务原创 2017-08-09 23:48:32 · 12620 阅读 · 0 评论 -
Solr安装部署(八)
8.1 Solr 安装与配置1、获取solr资源cd $HOMEgit clone https://github.com/apache/incubator-ranger.gitcd incubator-ranger/security-admin/contrib/solr_for_audit_setup 2、运行以下命令进行solr的安装:yum install lucidworks-hdpse原创 2017-08-09 23:52:43 · 538 阅读 · 0 评论 -
Sqoop1 安装及Hive/Hbase数据与Mysql数据互导(九)
一、通过 Ambari 安装 Sqoop通过ambari 进行自动安装,ambari 只安装了sqoop client。 网上有说如果要调用 sqoop api 来操作sqoop 则需要安装sqoop server 。目前笔者还没用到其api,所以后面有待深究。安装步骤: ambari–> Actions –> sqoop 进入安装,安装完后无需要进行任何配置便可。 安装完成后如下图所示:原创 2017-08-11 21:01:16 · 1243 阅读 · 0 评论 -
HDP之离线安装ambari-agent
一、首先是离线安装Ambari见下文:离线安装Ambari以及Ambari本地源的制作二、HDP本地源的制作 本地源的准备HDP 、HDP-UTILS 源包(文件很大,需要很长下载时间,请耐心等待。。。),下载路径如下:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos6原创 2017-12-25 23:21:07 · 6374 阅读 · 0 评论 -
Ambari下Hdp集群添加节点
一、修改主机名[root@localhost ~]# vi /etc/hosts (集群中所有机器都得添加新添加进来的机器) 192.168.123.4 hdp04.chbigdata.org.cn hdp04 192.168.123.5 hdp05.chbigdata.org.cn hdp05 192.168.123.6 hdp06.chbigdata.org.cn hdp06 192.1原创 2017-12-25 23:42:10 · 6015 阅读 · 0 评论 -
HDP2.5更换集群IP
场景: linux centos6.9 Ambari + HDP 目前集群节点有3个,运行一切正常。由于客户ip发生变化,需要统一将原先的ip全部替换。注:首先将dataNode目录下的数据进行备份1、通过Ambari界面将所有服务停了2、修改hosts(win/linux)(1)修改linux 之hosts(所有节点都得修改)[root@hdp39 network-scrip原创 2017-12-26 23:24:51 · 2253 阅读 · 0 评论 -
Hive 实现脱敏以及ETL 过程(开启kerberos)
业务场景及实现原理:通过采集工具将用户数据采集到 Hive 库;如果将数据采集到Hbase表,再通过Hive创建对应的外部表关联Hbase表,这个场景同样适用,只不过脱敏后的数据将存在Hive中而不是Hbase中。将 采集到的Hive 数据进过一定的脱敏算法将数据共享出去;为了防止请求被非法模仿,因而编写了一个访问Ip 鉴权类,也就是设置了访问ip白名单,只有在白名单上的ip才可以访问接...原创 2017-08-18 00:01:12 · 13312 阅读 · 0 评论 -
Hbase 启动报 clock is out of sync 错
异常信息如下:2017-08-18 14:27:42,170 FATAL [regionserver/hdp40/10.194.186.40:16020] regionserver.HRegionServer: Master rejected startup because clock is out of syncorg.apache.hadoop.hbase.ClockOutOfSyncExce原创 2017-08-18 15:48:09 · 1264 阅读 · 0 评论