presto集群安装以及集成kerberos

最新推荐文章于 2024-03-28 16:04:37 发布
最新推荐文章于 2024-03-28 16:04:37 发布
阅读量6k 收藏 5
点赞数 3
分类专栏： presto kerberos 文章标签： kerberos presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woloqun/article/details/76560087
版权

presto集群安装

安装包下载地址

https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.181/presto-server-0.181.tar.gz

jdk 版本

目前最新的presto版本是0.181，要求jdk不能低于1.8.0_92

集群节点
主机名iprole
slave1192.168.1.115coordinator
slave2192.168.1.116worker

主机名slave1和slave2没有任何意义，这是以前安装的虚拟机的遗留问题，请忽视这个细节

在slave1节点上安装coordinator
tar -zxvf presto-server-0.181.tar.gz
cd presto-server-0.181
mkdir etc
cd etc
mkdir catalog
mkdir -p /home/qun/data/presto  #这个是数据目录，存放日志以及一些配置文件
配置Node Properties
  • vi etc/node.properties，内容如下
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/qun/data/presto

注意node.id在整个集群必须唯一，值可以随便填，没有固定格式

配置JVM Config
  • vi etc/jvm.config,内容如下
-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

因为我用的是虚拟机所以调小了jvm内存，官方设置-Xmx16G

配置Config Properties
  • vi etc/config.properties,内容如下
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8999
query.max-memory=2GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://slave1:8999
设置log

vi etc/log.properties，内容如下

com.facebook.presto=INFO
添加mysql connector
  • vi etc/catalog/mysql.properties,内容如下
connector.name=mysql
connection-url=jdbc:mysql://192.168.1.116:3306
connection-user=root
connection-password=123456
在slave2节点上安装worker

将slave1上配置好的安装包复制到slave2节点上

scp -r presto-server-0.181 qun@slave2:~/
创建数据目录
mkdir -p /home/qun/data/presto
修改Config Properties
  • vi etc/config.properties,内容如下
coordinator=false
http-server.http.port=8999
query.max-memory=2GB
query.max-memory-per-node=1GB
discovery.uri=http://slave1:8999

和coordinator不一样的是coordinator=false,代表这是一个worker节点

配置Node Properties
  • vi etc/node.properties，内容如下
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffff1
node.data-dir=/home/qun/data/presto

和coordinator不一样的是node.id=ffffffff-ffff-ffff-ffff-fffffffffff1，node.id必须集群唯一

presto安装后，包结构如下
[qun@slave2 presto-server-0.181]$ tree -I *.jar
.
|-- bin
|   |-- launcher
|   |-- launcher.properties
|   |-- launcher.py
|   `-- procname
|       `-- Linux-x86_64
|           `-- libprocname.so
|-- etc
|   |-- catalog
|   |   `-- mysql.properties
|   |-- config.properties
|   |-- jvm.config
|   `-- node.properties
|-- lib
|-- NOTICE
|-- plugin
|   |-- accumulo
|   |-- atop
|   |-- blackhole
|   |-- cassandra
|   |-- example-http
|   |-- hive-hadoop2
|   |-- jmx
|   |-- kafka
|   |-- localfile
|   |-- memory
|   |-- ml
|   |-- mongodb
|   |-- mysql
|   |-- postgresql
|   |-- presto-thrift
|   |-- raptor
|   |-- redis
|   |-- resource-group-managers
|   |-- sqlserver
|   |-- teradata-functions
|   `-- tpch
`-- README.txt

启动集群

在所有的节点上执行如下命令，一般情况下先启动coordinator,再启动worker

./bin/launcher start
日志如下：
[qun@slave2 log]$ ll /home/qun/data/presto/var/log/
总用量 8388
-rw-rw-r--  1 qun qun 8306295 7月  30 22:40 http-request.log
-rw-r--r--. 1 qun qun    1512 7月  29 21:24 launcher.log
-rw-rw-r--  1 qun qun   26582 7月  30 17:37 server.log

presto集群集成kerberos安全认证

presto集成kerberos，只需要在coordinator上进行配置，worker和coordinator之间的通行还是采用之前的http方式，客户端(presto-cli,jdbc等)访问coordinator需要通过https并且需要进行kerberos认证；presto集群集成kerberos认证只需要在coordinator 节点上进行修改，worker节点保持不变，配置完后我们将用presto-cli的方式连接presto集群

在coordinator节点上安装kerberos client

yum install krb5-libs.x86_64 krb5-workstation.x86_64 krb5

修改/etc/krb5.conf,内容如下

[root@slave1 qun]# vi /etc/krb5.conf 
[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = XIAOMI.PRESTO
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true

[realms]
 XIAOMI.PRESTO = {
  kdc = xiaobin
  admin_server = xiaobin
 }

[domain_realm]
 .xiaomi.presto = XIAOMI.PRESTO
 xiaomi.presto = XIAOMI.PRESTO

生成keytab，在slave1节点上执行如下命令，生成qun.keytab

kadmin -p admin/admin -q "addprinc -randkey qun@XIAOMI.PRESTO"
kadmin -p admin/admin -q "addprinc -randkey qun/slave1@XIAOMI.PRESTO"
kadmin -p admin/admin -q "ktadd -k /etc/qun.keytab qun@XIAOMI.PRESTO"
kadmin -p admin/admin -q "ktadd -k /etc/qun.keytab qun/slave1@XIAOMI.PRESTO"

生成keystore

需要注意的是alias需要和启动presto的用户名一样

[root@slave1 qun]# keytool -genkeypair -alias qun -keyalg RSA -keystore qunkeystore.jks
输入密钥库口令:  
再次输入新口令: 
您的名字与姓氏是什么?
  [Unknown]:  slave1
您的组织单位名称是什么?
  [Unknown]:  
您的组织名称是什么?
  [Unknown]:  
您所在的城市或区域名称是什么?
  [Unknown]:  
您所在的省/市/自治区名称是什么?
  [Unknown]:  
该单位的双字母国家/地区代码是什么?
  [Unknown]:  
CN=slave1, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
  [否]:  y

输入 <qun> 的密钥口令
	(如果和密钥库口令相同, 按回车):  
再次输入新口令:

配置jdk，Java Cryptography Extension Policy Files

wget http://download.oracle.com/otn-pub/java/jce/8/jce_policy-8.zip
将解压的jar放到如下目录中，主要是local_policy.jar和US_export_policy.jar
$JAVA_HOME/jre/lib/security/

修改config.properties，内容如下

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8999
query.max-memory=2GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://slave1:8999


http-server.authentication.type=KERBEROS

http.server.authentication.krb5.service-name=qun
http.server.authentication.krb5.keytab=/home/qun/presto-server-0.181/qun.keytab
http.authentication.krb5.config=/home/qun/presto-server-0.181/krb5.conf

http-server.https.enabled=true
http-server.https.port=7778

http-server.https.keystore.path=/home/qun/presto-server-0.181/qunkeystore.jks
http-server.https.keystore.key=keystorepd

修改jvm.config，内容如下

-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Dsun.security.krb5.debug=true
-Dlog.enable-console=true

修改完后重启coordinator节点

presto-cli通过kerberos认证连接presto集群

  • 下载presto-cli
wget https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.181/presto-cli-0.181-executable.jar
cp presto-cli-0.181-executable.jar presto-cli
chmod +x presto-cli
连接presto集群
  • 方式一：这个是debug方式，利于找错误，有大量日志输出，内容已省略
[qun@slave1 ~]$ java -jar presto-cli-0.181-executable.jar \
--server https://slave1:7778   \
--enable-authentication   \
--krb5-config-path /etc/krb5.conf   \
--krb5-principal qun@XIAOMI.PRESTO   \
--krb5-keytab-path /home/qun/presto-server-0.181/qun.keytab   \
--krb5-remote-service-name qun   \
--keystore-path /home/qun/presto-server-0.181/qunkeystore.jks  \
--keystore-password keystorepd
presto> select count(*) from mysql.test.user;
 _col0 
-------
     1 
(1 row)

Query 20170730_021003_00003_bpf6r, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:00 [1 rows, 0B] [3 rows/s, 0B/s]
  • 方式二
./presto-cli  \
  --server https://slave1:7778 \
  --enable-authentication \
  --krb5-config-path /etc/krb5.conf \
  --krb5-principal qun@XIAOMI.PRESTO \
  --krb5-keytab-path /home/qun/qun.keytab \
  --krb5-remote-service-name qun \
  --keystore-path /home/qun/qunkeystore.jks \
  --keystore-password keystorepd 

presto> select count(*) from mysql.test.user;
 _col0 
-------
     1 
(1 row)

Query 20170730_021003_00003_bpf6r, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:00 [1 rows, 0B] [3 rows/s, 0B/s]
更换一台新的虚拟机slave3，添加一个新的principal：test1@XIAOMI.PRESTO，生成test1.keytab，然后访问presto集群
kadmin -p admin/admin -q "addprinc -randkey test1@XIAOMI.PRESTO"
kadmin -p admin/admin -q "ktadd -k /etc/test1.keytab test1@XIAOMI.PRESTO"

[test@slave3 ~]$ ./presto-cli \
>   --server https://slave1:7778 \
>   --enable-authentication \
>   --krb5-config-path /etc/krb5.conf \
>   --krb5-principal test1@XIAOMI.PRESTO \
>   --krb5-keytab-path test1.keytab \
>   --krb5-remote-service-name qun \
>   --keystore-path qunkeystore.jks \
>   --keystore-password keystorepd
presto> show catalogs;
 Catalog 
---------
 mysql   
 system  
(2 rows)

Query 20170801_134406_00005_wa4q4, FINISHED, 1 node
Splits: 1 total, 1 done (100.00%)
0:00 [0 rows, 0B] [0 rows/s, 0B/s]

presto> select count(*) from mysql.test.user;
 _col0 
-------
     1 
(1 row)

Query 20170801_134419_00006_wa4q4, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:00 [1 rows, 0B] [3 rows/s, 0B/s]

常见问题

  1. javax.net.ssl.SSLPeerUnverifiedException
presto> show catalogs;
Error running command: javax.net.ssl.SSLPeerUnverifiedException: Hostname 192.168.1.116 not verified:
    certificate: sha256/i+KNkzrrH/NHzUruc9R+f0a/P8Ql/OhOKh9n3JtL1qg=
    DN: CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown
    subjectAltNames: []

这种问题由keystore生成的时候host指定错误造成的，您的名字与姓氏是什么?[Unknown]: slave1，slave1即是hostname
2. Authentication failed for token

com.facebook.presto.server.security.SpnegoFilter  Authentication failed for token
  Encryption type AES256 CTS mode with HMAC SHA1-96 is not supported/enabled)

解决办法如下，下载JCE
http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html
解压后替换$JAVA_HOME/jre/lib/security目录下的local_policy.jar，US_export_policy.jar

相关链接

woloqun
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
presto-kerberos
08-14
presto-kerberos配置参数设置，presto-kerberos配置参数设置。
presto集成到ambari
02-23
presto集成到hdp的操作使用文档，详细描述操作过程，亲测可用
presto安装集成kerberos
Mrerlou的博客
03-29 742
安装 下载安装包 presto官网：https://prestodb.io/ presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gz presto-cli客户端下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.2
Presto集群搭建
最新发布
weixin_59295776的博客
03-28 735
注意：--server执行连接Presto的coordinator节点，--catalog指定连接hive，这里写的名字和“/opt/presto-0.280/etc/catalog”路径中配置的properties名称保持一致。分别在zzy01,zzy02,zzy03节点上启动Presto Server，启动可以采用前台方式，日志会打印到控制台，也可以采用后台方式启动Presto，日志存放在“/opt/presto-0.280/data/var/log”路径下。
kerberos环境下的presto集群安装
qq_34864753的博客
12-03 282
1. 没有kerberos环境的presto集群安装请参考https://blog.csdn.net/Alongpo/article/details/89499400 kerberos安装需更改 /catalog 下的hive.properties文件,其余参考1 即可
presto集成Kerberos的hive
duanbaba的博客
06-23 559
目录 安装 下载安装包 解压presto-server包 创建etc目录 在etc目录创建需要配置文件 1. 创建config.propertie 2. 创建jvm.config 3. 创建log.properties 4. 创建node.properties 在etc目录下创建catlog目录 在catalog目录下配置数据源 1. 配置mysql数据源 2. 配置hive数据源（没权限） 客户端配置 测试 集成kerberos 生成persto主体
Presto安装部署教程（附hive集成教程
08-24 987
Presto安装部署教程前言环境安装配置config.propertiesjvm.configlog.propertiesnode.propertiescatalog启动并验证 前言 作为OLAP的一员，presto发挥着连接异构数据源的重要作用，目前presto已经集成了20多种数据源，可谓是非常丰富，官方还提供了自定义插件开发接口。所以，倘若你的数据源支持jdbc且使用的是标准的sql语法，那么只需要简单几步就可以整合其他数据源，比如clickhouse/kylin等。 本文只介绍presto安装部署教
Ambari 集成 presto.docx
11-09
Ambari 是一个开源的工具，用于管理 Hadoop 生态系统中的集群，提供了一套图形化的界面和 REST API，使得安装、配置、监控和管理 Hadoop 及其相关服务变得简单。Presto 是一种分布式 SQL 查询引擎，适用于处理大规模...
Presto介绍、原理、安装使用
02-27
Presto介绍、原理、安装使用
Presto最新版集成到Ambari
12-15
Presto最新版集成到Ambari，包含脱机安装。presto-server-rpm-0.191.rpm，presto-cli-0.190.gar
presto0.133访问启用kerberos的hive
liuwl000110的博客
10-31 1236
自己在服务器上部署了presto，访问服务器CDH集群中的hive，配置好catalog目录下的hive.properties,访问hive的时候一直访问不了，自己两个月以前刚装好的时候访问没有问题，可以查看hive中的数据库，表，表数据，相比两个月前，CDH集群启用了kerberos，在presto英文官网上最新版的官方文档看到有访问带kerberos的hive的配置方法，配置之后仍然不能访问，
(四)presto集成kafka
hyj
11-18 1505
一、集成之前 1、启动zookeeper 2、启动kafka 3、查看kafka有哪些主题 [root@master bin]# ./kafka-topics.sh --list --zookeeper master:2181,slaves1:2181,slaves2:2181 topic_walkCount mytest mytopic 4、选择一个主题进行数据写入 [root@master bin]# ./kafka-console-producer.sh --broker-list
presto基于kerberos访问hive的安装
qq_29248935的博客
08-08 1318
presto基于kerberos访问hive的安装 注意事项： 1.安装的presto0.223最新版是需要jdk1.8的，但是hadoop的jdk是1.7.所以新建presto的用户。安装jdk1.8到presto用户环境下。让presto在presto用户下执行。 2.presto的用户组需要添加hadoop,否则找不到presto服务的keytab文件。 3.ncmp安装hive_clien...
Alluxio、Presto 集成Kerberos
coderlaw's study
11-30 1206
一、Kerberos安装与配置 kerberos简介： Kerberos 是一个安全的网络认证协议，支持客户端和服务端不需要在网络上传输密码就可以进行认证。Kerberos 采用通过对称加密算法生成时间敏感的票据。 在安全范式中Kerberos 的三个脑袋是指： 尝试认证的用户是谁。 客户端要认证哪个服务。 Kerberos 安全服务中心作为密钥分发中心（Key Distribution Cent...
presto安装介绍
活的洒脱怪我咯的专栏
03-07 2394
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。
Kerberos从入门到精通以及案例实操系列（二）
prefect_start的博客
06-05 1090
所以在安全的Hadoop环境下，Kylin不需要做额外的配置，只需要具备一个Kerberos主体，进行常规的认证即可。若Presto对接的是Hive数据源，由于其需要访问Hive的元数据和HDFS上的数据文件，故也需要对Hive Connector进行Kerberos认证。启用Kerberos认证之后，关闭HBase时，需先进行Kerberos用户认证，认证的主体为hbase。但是Kylin所依赖的HBase需要进行额外的配置，才能在安全的Hadoop环境下正常工作。以下说明均基于普通用户。
PrestoOnYarn搭建及其问题解决方案总结
qq_40616823的博客
12-08 3512
Presto搭建整合流程总结 一、环境准备 本次搭建内容是： presto on yarn + kerberos 整合 本次presto集群搭建过程基于一下环境： hadoop版本: hadoop-2.7.3 presto版本：0.223 slider版本: slider-0.91.0-incubating jdk版本： jdk1.8.0_181 注意，jdk版本要求在jdk1.8_151以上，否则可能会出现bug： Java HotSpot™ 64-Bit Server VM warning: C
kerberos集成ldap
帆了个帆的专栏
05-29 2733
注意：在安装过程中一定要注意目录/var/lib/ldap和/etc/openldap/slapd.d这两个目录权限，集成过程中很多问题都是因为这两个目录权限设置错误引起的；因为安装的时候需要使用root账户，生成的配置文件不经意间就被改成了root；所以出现问题第一步就检查这两个目录权限 chown -R ldap:ldap /etc/openldap/slapd.d && ch...
Presto安装完成之后需要做的
qianfeng_dashuju的博客
07-26 340
　　 　　Presto因其优秀的查询速度被我们所熟知，它本身基于MPP架构，可以快速的对Hive数据进行查询，同时支持扩展Connector，目前对Mysql、MongoDB、Cassandra、Hive等等一系列的数据库都提供了Connector进行支持。是我们常用的SQL on Hadoop的解决方案。那么我们今天就来看一下，当我们选择Presto作为我们的查询引擎之后，我们需要考...
presto集群部署
09-15
对于Presto集群的部署，可以按照以下步骤进行操作： 1. 确保你有一个运行Java的环境，Presto是用Java编写的。你可以从官方网站下载并安装Java Development Kit（JDK）。 2. 下载Presto服务器的二进制文件。你可以从Presto官方网站的下载页面获得最新版本的二进制文件。 3. 解压缩下载的二进制文件到你想要安装Presto的目录中。 4. 配置节点信息。在Presto安装目录下的etc目录中，有一个配置文件叫做`node.properties`，你需要编辑这个文件，指定集群中每个节点的唯一标识符和通信地址。 5. 配置集群连接信息。在etc目录中，有一个配置文件叫做`config.properties`，你需要编辑这个文件，指定连接到Presto集群所需的信息，比如访问控制、元数据存储等。 6. 配置分布式查询协调器。在etc目录中，有一个配置文件叫做`coordinator.properties`，如果你打算使用Presto集群中的一个节点作为协调器节点，你需要编辑这个文件，并指定协调器节点的配置信息。 7. 配置工作节点。在etc目录中，有一个配置文件叫做`worker.properties`，如果你打算使用Presto集群中的某些节点作为工作节点，你需要编辑这个文件，并指定每个工作节点的配置信息。 8. 启动Presto集群。在Presto安装目录下执行命令`./bin/launcher start`或者`./bin/launcher run`以启动Presto集群。前者以守护进程方式启动，后者将在前台运行。 9. 进入Presto CLI。在Presto安装目录下执行命令`./bin/presto-cli`以进入Presto CLI，你可以使用CLI与Presto集群进行交互查询。 这些是基本的Presto集群部署步骤，你可以根据你的特定需求和环境进行配置和调整。请确保在部署之前，详细阅读Presto官方文档并遵循最佳实践。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值