ATLAS集成与部署

Atlas框架的优点如下：

• 强大的数据建模能力：Atlas提供了丰富的数据模型和元数据管理功能，可以灵活地建模和管理各种数据类型，包括实体、关系、属性等。
• 全面的元数据管理：Atlas支持对各个数据实体的元数据进行管理，包括数据的属性、关系、血缘、分类等信息，可以提供全面的数据探索和查询功能。
• 高度可扩展性：Atlas是一个可扩展的框架，可以根据需求定制和扩展各种数据模型和元数据管理功能，适应不同的企业和数据环境。
• 强大的搜索与查询功能：Atlas提供了强大的搜索和查询功能，可以帮助用户快速定位和查询所需的数据和元数据信息。
• 广泛的集成能力：Atlas可以与其他开源框架和工具集成，比如Hadoop、Hive、Spark等，可以方便地和现有的数据生态系统进行整合。
• 实现了读写分离（并通过hint/master/可强制走主库，并且加入了权重配置可进行读的负载均衡。
  自身维护了一套连接池，减少了创建连接带来的性能消耗。
• 支持DB动态上下线，方便横向扩展。
• 支持ip过滤，实现了简单的权限控制。
• 可记录所有sql，实现了简单的审计功能。

Atlas框架的缺点如下：

• 学习成本较高：由于Atlas是一个复杂的框架，使用和定制都需要一定的学习成本，需要用户具备一定的技术能力和经验。
• 配置和部署复杂：Atlas的配置和部署相对复杂，需要用户熟悉各种配置参数和环境要求，对于一些初学者来说可能会有一定的困难。
• 性能和扩展性有限：尽管Atlas提供了可扩展的功能，但在处理大规模数据和高并发请求时，性能可能会受到一定的限制。
• 社区支持相对较少：相对于其他一些开源框架，Atlas的社区支持相对较少，可能会对用户的问题解决和功能定制造成一定的困扰。
• 使用atlas比直连DB，性能损耗大概是30%-35%左右
  使用atlas比直连DB，响应时间大概是直连DB的1.5~2倍
• 对分表的支持不是太好，只支持同schema下的hash分表，并且分表后查询只基于分表key的等值查询（如果支持范围查询，那么比直接非分表情况扫描全表的性能还差，所以360干脆就不支持）
  atlas配置暂时不支持配置参数的动态加载，如果修改了配置需要重启atlas，这可能会对业务有一点的影响（不过一般可以做ha或者业务低峰进行重启，这个问题不是特别迫切）

注释：部署整体思路：

搭建所需环境： HIVE ；Hook；Zookeeper；Kafka；HBase；Solr;Maven ;Node

1 maven安装

1.1 maven: apache-maven-3.5.4-bin.tar.gz 官方下载

 #将maven解压安装到本地
tar -zxvf  apache-maven-3.5.4-bin.tar.gz。

1.2 将maven配置到本地环境变量

1.2.1 刷新环境变量

2 atalas 安装

2.1 atlas: apache-atlas-2.2.0-sources.tar.gz 官方下载

#将atlas源码解压安装到本地
tar -zxvf  apache-maven-3.5.4-bin.tar.gz。

2.2修改国内maven源

<mirrors>
    <mirror>
      <id>planetmirror.com</id>
      <name>PlanetMirror Australia</name>
      <url>http://downloads.planetmirror.com/pub/maven2</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
  </mirrors>

2.3 编译atlas源码包

2.3.1 编译报错：

问题分析：未安装npm

解决方案：安装Node

**1：下载：**wget https://nodejs.org/dist/v13.11.0/node-v13.11.0-linux-x64.tar.xz

2.解压：tar -zxvf node-v13.11.0-linux-x64.tar.xz

3进目录 ：cd node-v13.11.0-linux-x64/bin

**4：**测试是否安装成功

./node -v

配置 node 环境变量

5. 加软链

#添加 node，npm软链
ln -s /www/node-v13.11.0-linux-x64/bin/node /usr/local/bin/node
ln -s /www/node-v13.11.0-linux-x64/bin/npm /usr/local/bin/npm

6.测试

node -v

npm -v

7. 加速npm
使用淘宝的cnpm

npm install cnpm -g --registry=https://registry.npm.taobao.org

编译atlas源码包成功。

3.Atlas 配置

3.1Atlas 集成 Hbase

  1，修改/opt/module/atlas/conf/atlas-application.properties 配置文件中的以下参数

2.修改/opt/module/atlas/conf/atlas-env.sh 配置文件，增加以下内容

3.2Atlas 集成 Solr

1，修改/opt/module/atlas/conf/atlas-application.properties 配置文件中的以下参数

2，创建 solr collection

solr/bin/solr start -c -z 127.0.0.1:2181（主机地址） -p 8983 -force
#创建索引库
solr/bin/solr  create -c fulltext_index -force -d conf/solr/ 
solr/bin/solr  create -c edge_index -force -d conf/solr/   
solr/bin/solr  create -c vertex_index -force -d conf/solr/

3.3 Atlas 集成 Kafka

修改/opt/module/atlas/conf/atlas-application.properties 配置文件中的以下参数

3.4 Atlas Server 配置

1，修改/opt/module/atlas/conf/atlas-application.properties 配置文件中的以下参数