Apache Knox安装测试

最新推荐文章于 2024-06-10 09:37:03 发布
最新推荐文章于 2024-06-10 09:37:03 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： Knox 文章标签： apache hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sujiangming/article/details/126963138
版权

Apache Knox安装测试

一、Knox简介

Announcing Apache Knox 1.6.1!
REST API and Application Gateway for the Apache Hadoop Ecosystem
The Apache Knox™ Gateway is an Application Gateway for interacting with the REST APIs and UIs
of Apache Hadoop deployments.
The Knox Gateway provides a single access point for all REST and HTTP interactions with Apache Hadoop
clusters.Knox delivers three groups of user facing services:
在这里插入图片描述

官网介绍：

Apache Knox网关是一个为集群中的Apache Hadoop服务提供单点身份验证和访问的系统。目标是为用户（即访问集群数据和执行作业的用户）和操作员（即控制访问和管理集群的用户）简化Hadoop安全。网关作为服务器（或服务器集群）运行，提供对一个或多个Hadoop集群的集中访问。一般来说，网关的目标如下：
- 为Hadoop REST API提供外围安全，使Hadoop安全更易于设置和使用
- 在外围提供身份验证和令牌验证
- 实现与企业和云身份管理系统的身份验证集成
- 在外围提供服务级别授权
- 公开聚合Hadoop集群的REST API的单个URL层次结构
- 限制访问Hadoop集群所需的网络端点（以及防火墙漏洞）
- 对潜在攻击者隐藏内部Hadoop群集拓扑

运行逻辑图：
在这里插入图片描述

一、下载Knox

二、安装Hadoop和Knox

  • Hadoop安装可参考博文：Hadoop2.7.3全分布式环境搭建
  • 安装Knox
    • 注意：需要使用普通用户安装，如omm
      • 新建用户组和用户，如:
        groupadd knoxgroup
useradd -g knoxgroup omm
passwd omm
    • 可参考官网:Quick Start
    • 使用omm用户登录服务器，默认安装在/home/omm下
    • 上传knox1.6.1.zip包到虚拟机中
    • 解压安装：unzip knox1.6.1.zip
    • 环境配置（可选）
    • 启动LDAP，进入到解压之后的目录/home/omm/knox1.6.1下执行命令：bin/ldap.sh start
    • 创建Master密钥,执行如下命令：bin/knoxcli.sh create-master,回车，输入密钥密码
    • 启动Knox服务，执行：bin/gateway.sh start
    • 检查LDAP和knox服务是否正常启动，执行:jps，结果如下：
      在这里插入图片描述

三、读写HDFS

  • 通过网关gateway在WebHDFS上调用LISTSTATUS操作，命令如下：

    • 执行命令：

      curl -i -k -u guest:guest-password -X GET 'https://localhost:8443/gateway/sandbox/webhdfs/v1/?op=LISTSTATUS'

    • 结果如图：
      在这里插入图片描述

    • 文字结果：

      HTTP/1.1 200 OK
Date: Tue, 20 Sep 2022 13:55:54 GMT
Set-Cookie: KNOXSESSIONID=node01jvpkpq1sedtp1xcfgvzi9ok721.node0; Path=/gateway/sandbox; Secure; HttpOnly
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Set-Cookie: rememberMe=deleteMe; Path=/gateway/sandbox; Max-Age=0; Expires=Mon, 19-Sep-2022 13:55:54 GMT; SameSite=lax
Cache-Control: no-cache
Expires: Tue, 20 Sep 2022 13:55:54 GMT
Date: Tue, 20 Sep 2022 13:55:54 GMT
Pragma: no-cache
Expires: Tue, 20 Sep 2022 13:55:54 GMT
Date: Tue, 20 Sep 2022 13:55:54 GMT
Pragma: no-cache
Content-Type: application/json;charset=utf-8
Server: Jetty(6.1.26)
Transfer-Encoding: chunked

{
	"FileStatuses": {
		"FileStatus": [
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 0,
				"fileId": 17828,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1655327421392,
				"owner": "root",
				"pathSuffix": "elogs",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 3,
				"fileId": 17453,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1655487609271,
				"owner": "root",
				"pathSuffix": "flumeLogs",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 9,
				"fileId": 16936,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1655436743899,
				"owner": "root",
				"pathSuffix": "hbase",
				"permission": "757",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 0,
				"fileId": 17590,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1655281104031,
				"owner": "suben",
				"pathSuffix": "hdfsdemo",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 6,
				"fileId": 16644,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1656012489237,
				"owner": "root",
				"pathSuffix": "inputs",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 2,
				"fileId": 16658,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1653646793954,
				"owner": "root",
				"pathSuffix": "output",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 4,
				"fileId": 17375,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1655463859092,
				"owner": "root",
				"pathSuffix": "outputs",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 1,
				"fileId": 17570,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1654919667421,
				"owner": "root",
				"pathSuffix": "rdbms",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 0,
				"fileId": 16641,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1653636523487,
				"owner": "root",
				"pathSuffix": "sparkhistory",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 30,
				"fileId": 16642,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1656024159488,
				"owner": "root",
				"pathSuffix": "sparklogs",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 1,
				"fileId": 18294,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1656035964378,
				"owner": "root",
				"pathSuffix": "testDataSet",
				"permission": "755",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 3,
				"fileId": 16575,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1653628122500,
				"owner": "root",
				"pathSuffix": "tmp",
				"permission": "733",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			},
			{
				"accessTime": 0,
				"blockSize": 0,
				"childrenNum": 2,
				"fileId": 16582,
				"group": "supergroup",
				"length": 0,
				"modificationTime": 1654752608696,
				"owner": "root",
				"pathSuffix": "user",
				"permission": "757",
				"replication": 0,
				"storagePolicy": 0,
				"type": "DIRECTORY"
			}
		]
	}
}

  • 通过网关gateway在上传文件到HDFS上：

    • 执行create操作命令：

      curl -i -k -u guest:guest-password -X PUT 'https://localhost:8443/gateway/sandbox/webhdfs/v1/tmp/LICENSE?op=CREATE'

    • 生成结果：
      在这里插入图片描述

      HTTP/1.1 307 Temporary Redirect
Date: Tue, 20 Sep 2022 15:03:21 GMT
Set-Cookie: KNOXSESSIONID=node01eqe641021389b3zv3vxzhjw411.node0; Path=/gateway/sandbox; Secure; HttpOnly
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Set-Cookie: rememberMe=deleteMe; Path=/gateway/sandbox; Max-Age=0; Expires=Mon, 19-Sep-2022 15:03:21 GMT; SameSite=lax
Cache-Control: no-cache
Expires: Tue, 20 Sep 2022 15:03:21 GMT
Date: Tue, 20 Sep 2022 15:03:21 GMT
Pragma: no-cache
Expires: Tue, 20 Sep 2022 15:03:21 GMT
Date: Tue, 20 Sep 2022 15:03:21 GMT
Pragma: no-cache
Content-Type: application/octet-stream
Location: https://localhost:8443/gateway/sandbox/webhdfs/data/v1/webhdfs/v1/tmp/word?_=AAAACAAAABAAAABwTpIK-W64x8ISPJNY9JvX3XuoTVo-OXwLrz64napWpWGTq-oww25mTd4fgPehTjUXmd2_FKZ37LwpehOpiUBZtO788j4AEKIBv30d6HApTLika55LfTqUIugsgKw_bl6G8jgBfxQa-W2-qiB5xRzijYnrs0NYYveBgVnpS8lKlV1y-RJZFJjrPw
Server: Jetty(6.1.26)
Content-Length: 0

      把上面结果内容中的Location的结果单独复制出来，后面上传文件时需要使用到，如下：

      https://localhost:8443/gateway/sandbox/webhdfs/data/v1/webhdfs/v1/tmp/word?_=AAAACAAAABAAAABwTpIK-W64x8ISPJNY9JvX3XuoTVo-OXwLrz64napWpWGTq-oww25mTd4fgPehTjUXmd2_FKZ37LwpehOpiUBZtO788j4AEKIBv30d6HApTLika55LfTqUIugsgKw_bl6G8jgBfxQa-W2-qiB5xRzijYnrs0NYYveBgVnpS8lKlV1y-RJZFJjrPw

    • 执行上传Put操作上传本地文件word.txt（如没有请自行创建）到HDFS上：

      curl -i -k -u guest:guest-password -T /home/omm/word.txt -X PUT   'https://localhost:8443/gateway/sandbox/webhdfs/data/v1/webhdfs/v1/tmp/word?_=AAAACAAAABAAAABwTpIK-W64x8ISPJNY9JvX3XuoTVo-OXwLrz64napWpWGTq-oww25mTd4fgPehTjUXmd2_FKZ37LwpehOpiUBZtO788j4AEKIBv30d6HApTLika55LfTqUIugsgKw_bl6G8jgBfxQa-W2-qiB5xRzijYnrs0NYYveBgVnpS8lKlV1y-RJZFJjrPw'

    • 生成结果
      在这里插入图片描述

  • 通过网关gateway在查看HDFS上的文件：

    • 执行open操作，命令：

      curl -i -k -u guest:guest-password -X GET 'https://localhost:8443/gateway/sandbox/webhdfs/v1/tmp/LICENSE?op=OPEN'

      结果：
      在这里插入图片描述

      将Location对应的值复制出来，如下：

       https://localhost:8443/gateway/sandbox/webhdfs/data/v1/webhdfs/v1/tmp/word?_=AAAACAAAABAAAABwvGlR2yaXxjIdF-OhvfiGfk-Vbyc5rBHj44sz4sFRAeuNC-Gde7WIc7cXuJgRAGKKRuTfQYooqjnuhMycxSifYsYnT9zVEZsS_2O_rUCDpmqanxQkJDUSiOzpbbY8K0ihByeDeIBwmTKQ1gXq_nxY3KpH5sB2lOMEOtQsEisJ0F0VsfejKtInRQ

    • 执行Get操作查看文件，命令：

      curl -i -k -u guest:guest-password -X GET 'https://localhost:8443/gateway/sandbox/webhdfs/data/v1/webhdfs/v1/tmp/word?_=AAAACAAAABAAAABwvGlR2yaXxjIdF-OhvfiGfk-Vbyc5rBHj44sz4sFRAeuNC-Gde7WIc7cXuJgRAGKKRuTfQYooqjnuhMycxSifYsYnT9zVEZsS_2O_rUCDpmqanxQkJDUSiOzpbbY8K0ihByeDeIBwmTKQ1gXq_nxY3KpH5sB2lOMEOtQsEisJ0F0VsfejKtInRQ'

      结果：
      在这里插入图片描述

  • 当然可以使用hdfs命令查看/tmp目录下是不是多出了一个/tmp/word的文件，如下所示:
    在这里插入图片描述
    查看下内容：hdfs dfs -cat /tmp/word，结果和上述的结果一样，具体如下所示：
    在这里插入图片描述

至此，简单的安装测试apache knox就到此结束，该篇博文参考了knox官网教程，在验证过程中记录下来，当作是练习使用吧，希望对你有所帮助~~~

若兰幽竹
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HDP安全之集成kerberos/LDAP、ranger；安装部署kerberos；安装Knox；安装LDAP；启动LDAP；验证Knox网关
涂作权的博客
10-02 1668
5.HDP安全之集成kerberos/LDAP、ranger 集成HDP kerberos /LDAP/ranger之前必须先了解为什么要这样做，kerberos/LDAP是用来做身份认证的，ranger用来做授权审计的，KNOX负责集群安全，所以集成后应该要满足同一个账号，例如hux可以在linux、ambari、ranger、kerberos等等等均可使用，ranger上可以同步LDAP中的用户，并进行统一的用户权限管理，所以需要在linux中创建的用户与LDAP、kerberos中创建的用户相同，由于
Apache Knox代理各个服务组件的UI
weixin_42728895的博客
04-08 2103
参考链接： https://blog.csdn.net/qq_37865420/article/details/105787160
Apache Knox Gateway
wjandy0211的博客
07-14 2463
Knox是一个提供认证和访问集群中hadoop服务的单个端点服务。目标是为用户和操作者简化hadoop安全。knox运行为一个服务或者集群服务，并提供集中访问一个或者多个hadoop集群。通常网关的目标如下：1、为hadoop rest api 提供外层的安全使hadoop 安全更容易设置和使用。在外层提供认证和token 验证确保认证能够和企业、云身份认证系统集成在外层提供服务层级的鉴权2、暴露单个url用来聚合hadoop集群的rest api限制需要访问hadoop集群的网络端点。
推荐开源项目：Apache Knox Gateway
最新发布
gitblog_00076的博客
06-10 402
推荐开源项目：Apache Knox Gateway 项目地址:https://gitcode.com/apachearrow-nanoarrow/knox 1、项目介绍 Apache Knox Gateway 是一个强大的安全网关，专为Hadoop生态系统设计，提供统一的认证和授权服务。它作为一个单一的入口点，保护着数据和服务的安全，让你可以安心地在云环境中部署和管理大数据应用。 2、项目技术分...
企业级大数据安全架构（五）Knox安装
01-22 483
本章节介绍安全架构里面一个重要组件Knox安装，我们是通过ambari安装，如果安装开源Knox可参考官网文档。
apache-knox-helm:Apache Knox的舵图
05-26
Apache Knox图表 是一个应用程序网关，用于与Apache Hadoop部署的REST API和UI进行交互。 该图表主要用于使用简单的REST API从Kubernetes集群外部访问HDFS。 该图表使用图像 。 安装图表（需要现有的Hadoop部署） 确保您的Hadoop安装启用了WebHDFS（通过在使用时将hdfs.webhdfs.enabled设置为true ）。 将存储库添加到掌舵 helm repo add pfisterer-knox https://pfisterer.github.io/apache-knox-helm/ helm repo update 要使用发布名称knox安装图表： $ helm install --name knox pfisterer-knox/apache-knox-helm 为了正确地代理您的HDFS实例，请设置kno
【Knox】Apache Knox 概述
书山有路，学海无涯。记录成长，追逐梦想
04-15 1627
总之，Apache Knox 是一个强大的工具，具有 Apache Ranger 审核功能，可以过滤和审核对您环境的所有访问。但它也允许您通过配置的方式作为您的各种个性化服务面前的经典网关。例如，您可以在没有 Kerberos 身份验证的 REST API 前面添加它。
Apache DolphinScheduler 整合 Apache Knox 网关
aaaak_的博客
10-12 1349
为使用者统一提供大数据生态组件UI入口，同时将所有的组件进行加密，统一ldap登录,相比较于Nginx来说Knox完美提供了这一点
Knox 代理各类组件
青冬的博客
08-09 1707
使用 knox 进行正向和反向代理，并且进行一些权限认证，使用起来很方便，特别是对于 NiFi 的相关权限认证（ldap），所以本章节讲下我使用 knox 代理的服务，以及相关的一些配置选项。/gateway/san在这里面的每个xml被视为一个集群，集群中可以有多个service。topologies目录下的xml文件才会被加载，如果下面有文件夹不会继续查找。默认已经帮我们把所有的配置好了，所以只需要更改下面service的ip就行。这里创建了一个 master 秘钥，是给knox gateway的秘钥。
homebrew-apache-knox：Apache Knox Homebrew水龙头
02-04
Apache Knox Homebrew如何安装这些公式？ brew install risdenk/apache-knox/<formula> 或brew tap risdenk/apache-knox ，然后brew install <formula> 。 或通过URL安装（不会接收更新）： brew install ...
KNOX和ENCLAVE资料
04-14
在IT安全领域，TrustZone和相关的技术如KNOX与Secure Enclave是移动设备安全解决方案的重要组成部分。这些技术主要用于保护用户数据和隐私，确保操作系统、应用程序以及敏感信息的安全。 TrustZone是ARM架构处理器...
samsung-KNOX安全白皮书
12-25
samsung-KNOX
Apache Ranger2.0.0
04-08
Apache Ranger 2.0.0版编译完成的安装包，包含ranger-2.0.0-admin.tar.gz、ranger-2.0.0-atlas-plugin.tar.gz、ranger-2.0.0-elasticsearch-plugin.tar.gz、ranger-2.0.0-hbase-plugin.tar.gz、ranger-2.0.0-hdfs-...
企业级大数据安全架构（二）安全方案
01-05 1205
作者：楼高。
2020全网最全Apache Knox实战总结
热门推荐
gaofeng的博客
04-27 1万+
最近一个月在研究Apache knox，谈不上精吧，或多或少有些心得 截止目前，knox最新版本为1.4，实践过的版本有1.3、1.1、1.0、HDP下的1.0.0.3-78、0.12等，每个版本在组件UI跳转这块都有些问题。 自己在HDP3.1下安装的Knox_1.0.0.3-78版本下进行修复后，形成了一个比较稳定的版本，如有需要可以私信我 现在花点时间将此次knox之行进行总结 如有问题欢迎讨论
apache knox 安装使用步骤
chaoren499的专栏
08-16 2828
2. knox 源码 git clone https://gitbox.apache.org/repos/asf/knox.git http://knox.apache.org/ 启动： http://knox.apache.org/books/knox-1-3-0/user-guide.html#Quick+Start curl -i -k -u root:123456 -X GET "h...
Apache knox 版本升级后的小问题
qq_28112019的博客
04-08 772
这两天测试knox，结果又换回了1.0.0 老版本，结果很多报错，最后调试出跳转的ui后，又出现js的载入显示问题，最后也没有完整解决。最后决定升级到之前测试过的1.5.0试一试。 还是老操作，关闭服务，替换文件、jar包等，保留了 knox的 /data/ 、/pid、conf等目录，这样保持了只替换基础jar包，而不变动配置文件的影响。 替换后，报错 问题定了一阵子，最后在官网上找到一段： 让我想到了密钥这个地方，当我备份 /var/lib/knox/data-3.1.0.0-78 的时
Knox的安装与部署（五）
Stay Focused And Work Hard !!!
08-09 1万+
说明：Knox组件在安装HDP时已通过Ambari自动安装了，如下步骤主是为Ambari与Ranger配置Knox的SSO 5.1 为Ambari设置Knox SSO 本节描述如何配置Ambari来使用Knox SSO(单点登录)来验证用户。通过这种配置，试图访问Ambari的未经身份验证的用户将被重定向到Knox SSO登录页面进行身份验证。 1、ambari-server setup-sso

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

若兰幽竹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值