wjandy0211的博客

FATAL] Non-resolvable parent POM for org.apache.ranger:ranger:2.2.0: : (https://repository.apache.org/content/repositories/snapshots): repository.apache.org: 未知的名称或服务 and 'parent.relativePath' points at wrong local POM @ line 19, column 13。

LDAP是轻量目录访问协议(Lightweight Directory Access Protocol)的缩写，是一种基于X.500目录访问协议的集中账号管理架构的实现协议标准Ldap运行在TCP/IP或其他面向连接的传输服务之上。

ranger 是一个用于启用、监控和管理跨hadoop平台的全面的数据安全框架。ranger的愿景是在hadoop系统中提供全面的安全管理。随着yarn的出现，hadoop 平台能够支持真正的数据糊架构。企业能够在多租户环境中运行多个任务负载。hadoop 数据安全需要进化去支持多个数据访问的用户场景，同时提供一个数据访问中心管理策略和监控用户访问的集群。

knox配置包含一下几步：1、相关的集群配置必须在Hadoop集群中完成，以允许Knox与各种服务通信2、网关服务器配置——这是服务器本身的可配置元素，适用于所有拓扑或托管Hadoop集群的行为3、拓扑描述符是用来控制以各种方式访问Hadoop集群的描述符。

Knox是一个提供认证和访问集群中hadoop服务的单个端点服务。目标是为用户和操作者简化hadoop安全。knox运行为一个服务或者集群服务，并提供集中访问一个或者多个hadoop集群。通常网关的目标如下：1、为hadoop rest api 提供外层的安全使hadoop 安全更容易设置和使用。在外层提供认证和token 验证确保认证能够和企业、云身份认证系统集成在外层提供服务层级的鉴权2、暴露单个url用来聚合hadoop集群的rest api限制需要访问hadoop集群的网络端点。

knox gateway 是一个作为 rest api和hadoop生态 ui的application gateway。knox 提供了一个为rest 和 hadoop 集群http 服务的单点访问knox 提供了三组面向用户的服务。

prometheus是一个监控、告警的开源系统。Prometheus收集并存储时序的指标数据。指标数据存储伴随一个timestamp和可选择key-values 队列标签。

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务的协调服务。

Quartz 是一个功能丰富的开源作业调度库，几乎可以集成到任何 Java 应用程序中——从最小的独立应用程序到最大的电子商务系统。Quartz 可用于创建简单或复杂的调度来执行数十个、数百个甚至数万个作业；其任务被定义为标准 Java 组件的作业，这些组件几乎可以执行您编写的任何程序。Quartz Scheduler 包括许多企业级特性，例如对JTA 事务和集群的支持。

花了一点时间，整理了大数据相关开源项目、组件和官网地址。按照实际应用功能的不同，分为以下10个部分，并在目录图中进行归纳，后续章节的内容则是分别介绍各组件的背景及应用场景。类别与开源项目| 调度与管理服务 | Azkaban 、YARN 、Mesos、Ambari 、ZooKeeper 、Thrift 、Chukwa || 文件系统 | Lustre 、HDFS 、GlusterFS 、Alluxio 、Ceph、PVFS 、QFS |

zookeeper是为分布式应用提供协调服务的高性能组件。zookeeper通过简单的接口暴露了一些公共服务(), 因此你不需要从头开始写这些服务。你可以现成得使用zookeeper来实现共识、组管理、领导者选举和存在协议。你可以根据自己的特殊需求来构建它。zookeepr是分布式、开源协调服务为分布式应用。zookeeper暴露了一些简单的原语。分布式应用通过原语实现更高层级的服务(zookeeper设计为易于编程、并仿照熟悉的文件系统目录树结构设计的数据模型。

ansible Semaphore 是一个用于运行 Ansible 剧本的响应式 Web UI。是用纯go编写的，支持mysql、pg、boltdb数据库(嵌入式键/值数据库).源代码： https:。。码头工人： https:。快照：https:。

sql server概念：database： databse由一些存储一组特定结构化数据的表集合组成。一个sql server可以有一个或者多个databse。schema： database中多个数据库对象关系组。table： 数据表操作：创建databse： 需要对master数据库具有 CREATE DATABASE 权限，或者需要 CREATE ANY DATABASE 或 ALTER ANY DATABASE 权限。USE...

ansible介绍

Spark功能的主要入口。SparkContext表示与Spark集群的连接，可以用来在该集群上创建rdd、accumulator和broadcast变量。

1、ambari的启动脚本为：service ambari-server start 或者 ambari-server start。分别对应脚本文件/etc/init.d/ambari-server 和 /usr/sbin/ambari-server，其中/usr/sbin/ambari-server文件是一个快捷方式，指向/etc/init.d/ambari-server。脚本文件/etc/init.d/ambari-server。

datahub

brew安装yum

datahub部署