Falcon使用文档

最新推荐文章于 2022-03-18 01:21:04 发布
最新推荐文章于 2022-03-18 01:21:04 发布
阅读量1.4k 收藏 2
点赞数
文章标签： falcon Hadoop falcon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24114893/article/details/99636145
版权

1.创建集群

集群用作feed和process及mirror中，需要指定集群的hdfs、yarn、oozie的地址（详细配置的如下），通过集群的配置可以实现跨机房数据传输。
查看falcon的运行状态

cd /usr/hdp/current/falcon-server
./bin/falcon-status

在这里插入图片描述

2.建立falcon用户

在这里插入图片描述

3.在hdfs下创建集群的文件夹

用falcon用户登陆：

su - falcon
hdfs dfs -mkdir /apps/falcon/primaryCluster

在上面创建的目录中创建子目录working、staging

hdfs dfs -mkdir /apps/falcon/primaryCluster/working
hdfs dfs -mkdir /apps/falcon/primaryCluster/staging

4.给文件赋予相应的权限

hdfs dfs -chmod 777 /apps/falcon/primaryCluster/staging
hdfs dfs -chmod 755 /apps/falcon/primaryCluster/working

5.填写建集群的参数

Name：定义集群名称。
Colo：集群实例。
Description：对集群进行描述。
Tags:定义标签，用于区别和定位实体。
Owner：集群的所有者和所属的组及权限，在里采用默认的输入（即访问控制列表）。
readonly (HDFS的主节点地址) ：hftp://172.16.1.26:50070
write(HDFS的主节点的RPC地址)：hdfs://172.16.1.28:8020
execute (YARN的资源管理地址)：172.16.1.26:8050
workflow（OOZIE的地址）： http://172.16.1.27:11000/oozie/
messaging（Falcon的消息代理地址）：tcp://172.16.1.27:61616?daemon=true
（如果需要应用到hive可以自定义：thrift://172.16.1.27:9083）
定义“falcon”作业使用的HDFS数据移动目录、临时目录和工作目录。在当前版本，这些目录必须存在，由Falcon拥有，并拥有适当的权限。（这个目录在第三步时创建）。
staging ：/apps/falcon/primaryCluster/staging
temp： /tmp
working：/apps/falcon/primaryCluster/working

在这里插入图片描述在这里插入图片描述

6.保存时错误处理

6.1 Falcon error: Invalid Workflow server or port

在这里插入图片描述
解决：由于oozie服务器运行和响应，该问题可能与Oozie未配置为代理运行Falcon服务器的user_id的请求相关。如果Oozie的Web服务器未配置为响应运行Falcon服务器的节点的请求，或者未配置为代理运行Falcon服务器的用户代理请求，则会生成错误消息。
查看日志：cat /var/log/oozie/oozie.log
在这里插入图片描述
在oozie的 /etc/oozie/conf/oozie-site.xml中添加如下代码（或者通过ambari中修改oozie的配置文件）

<property>
<name>oozie.service.ProxyUserService.proxyuser.falcon.hosts</name>
<value>*</value>
</property>
<property>
<name>oozie.service.ProxyUserService.proxyuser.falcon.groups</name>
<value>*</value>
</property>

在这里插入图片描述

6.2目录找不到

在这里插入图片描述
解决：Hdfs权限不够或hdfs的路径出错，配置正确的HDFS的主节点的RPC地址

6.3 文件所有者问题

在这里插入图片描述
解决：文件的所有者应该为falcon，在创建时用falcon账号

6.4 创建目录出错

在这里插入图片描述
解决：查看hadoop是否正常运行
成功提醒
在这里插入图片描述

7.创建feed

feed实体可以使用户指定保持数据生命周期和复制数据的同时定义数据导入和数据导出的策略，feed定义了提要位置、频率、后期处理和保留策略等提要的各种属性。feed可以在集群上调度，被调度后它的保留和复制过程就会在指定的集群中触发。
Name：feed名称。
Description：描述feed。
Tags:定义标签，用于区别和定位实体。
Groups：feed所属的组（以逗号分隔）。
Owner：可进行访问的所有者和所属的组及权限，在里采用默认的输入（即访问控制列表）。
Schema：模式的位置和提供者（在这里输入/none）。
在这里插入图片描述
Frequency：执行频率
Late Arrival：检查延迟时间
Availability Flag：可用性标志指定在feed数据目录中当前/创建的文件的名称。如果这个元素被忽略了，那么falcon将会考虑将feed的数据目录作为feed可用性标志。
queueName：作业队列的名称
jobPriority：作业执行的优先权（“queueName”和“jobPriority”是用户可以用来指定Hadoop作业队列和优先级的特殊属性）
timeout：定义feed实例的超时时间，对feed实例进行复制
parallel：定义了工作流的多少实例可以并发运行
maxMaps：定义在复制期间最大的匹配数量
mapBandwidthKB： 再复制feed的过程中mapper使用的带宽
在这里插入图片描述
Default Storage type：可以选择File system或者Catalog Storage。
如果为Hive，需要填写catalog: d a t a b a s e − n a m e : database-name: database−name:table-name#partition-key=partition-value);partition-key=partition-value);*（注意修改为自己的数据库名、表名及分区）
如果为HDFS填入数据路径、统计信息路径、元信息路径，Feed数据路径应具有与馈送频率相同的粒度（当执行任务频率为为小时时加add Y E A R {YEAR} YEAR{MONTH} D A Y {DAY} DAY{HOUR}，如果为天时加add Y E A R {YEAR} YEAR{MONTH}${DAY}）
在这里插入图片描述
Source Cluster：在页面上选择集群。
Validity：feed的有效时间（有效性时间指定feed运行期间的时间。对于许多feed，有效时间将设置到feed计划投入生产的时间，并将结束时间设置到遥远的未来）。
Retention：feed的保留时间。
在这里插入图片描述
在这里插入图片描述
同理创建一个输出feed（参数不再介绍，请参考输入feed的参数介绍）。

在这里插入图片描述
在这里插入图片描述

8.创建process

一个process定义了工作流引擎的工作，支持延迟数据处理和重试策略。process定义了运行工作流作业所需的配置。如工作流运行的频率、工作流运行在的集群、工作流的输入和输出、如何处理工作流失败、如何处理延迟输入等等。
Name：process名称。
Tags:定义标签，用于区别和定位实体。
Engine：选择工作引擎，可选择的有oozie、pig、hive。
Path：输入含配置文件的路径（workflow.xml、ingest.sh）
Owner：可进行访问的所有者和所属的组及权限，在里采用默认的输入（即访问控制列表）。
在这里插入图片描述
TimeZone：选择时区。
Frequency：执行工作流的频率。
Maximum Parallel Instances：定义了工作流的多少实例可以并发运行。
Order：定义了准备好的实例被选中的顺序。可能的值是FIFO(先进先出)，LIFO(后进先出)，Last(仅输出最后的)。
Retry：选择重试策略、重试次数和每次重试的推迟时间。（重试策略定义了如何处理工作流失败。三种重试策略: periodic、exp-backoff、and final。根据延迟和尝试次数的不同，在特定的间隔之后重新尝试工作流程。）
在这里插入图片描述
Validity：选择集群并设置process有效性的起始和结束时间。
在这里插入图片描述
Input定义工作流的输入数据。工作流作业只有在调度时间和所有输入可用时才开始执行。可以有0个或多个输入，每个输入映射到一个feed。从feed中提取输入数据的路径和频率。每个输入还应该根据EL表达式定义开始和结束实例，并且可以选择性地指定工作流所需要的输入的特定分区。分区中的组件应该是feed中定义的分区的子集。对于每个输入，Falcon将创建一个带有输入名称的属性，其中包含输入路径的逗号分隔列表。此属性可用于像pig脚本这样的工作流操作。
输出定义由工作流生成的输出数据。一个过程可以定义0个或多个的输出。每个输出映射到一个feed，并且从feed中获取输出路径。应该生成的输出实例用EL表达式指定。对于每个输出，Falcon创建一个带有输出数据的输出名称的属性。这可以在工作流中使用，以在路径中存储，yesterday(0,0)对应于昨天feed实例。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Workflow.xml定义了使用的工作流引擎和在hdfs上工作流的路径。在工作流元素中可以使用lib属性指定所需的库，并使用逗号分隔的HDFS路径。在hdfs上的工作流定义包含了实际应该运行的工作，并且应该对指定的引擎的工作流规范进行确认。工作流所需要的库应该在工作流路径的lib文件夹中，在集群和集群属性(nameNode和jobTracker)中定义的属性也可以用于工作流。
创建mirror
Mirror可以进行数据镜像处理，可以采用HDFS到HDFS、S3、AZURE，或者 HDFS、S3、AZURE到HDFS、HIVE到HIVE数据导入导出。
Mirror name：镜像名称
Tags:定义标签，用于区别和定位实体
Source：填写源集群、目标集群，如果选择HDFS填写数据路径，为HIVE填写数据库名表名。
Validity：选择集群并设置Mirror有效性的起始和结束时间。
Send alert to：允许用户在计划流程实例完成时接收电子邮件通知。多个收件人时以逗号进行分隔。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

9.使用falcon

1、根据Name或者Tag搜索相应的实体，进行相应的操作（集群不会被搜索到）
Schedule：在“falcon”配置存储中列出请求的实体，这将包括提交的实体配置，在配置存储库中已经提交feed或process可以被调度。
Resume：用于将处于暂停状态的任何实例返回到活动状态。
Suspend：暂停或者挂起实例，挂起process会暂停所有实例，而挂起实例则只挂起相关的实例。
Edit：对实体信息进行编辑。
Copy：对实体进行复制。
Delete:删除从“falcon”配置存储库中的实体和删除了工作流引擎上的任何预定活动。如果删除实体上没有依赖实体，则实体上的删除操作才会成功。
XML：将实体的配置信息导出XML文件。
在这里插入图片描述
2、点击相应的实体可以查看实体间的依赖关系
在这里插入图片描述

qq_24114893
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Falcon的简单介绍和使用
define_us的专栏
11-22 2262
目标服务器运行agent agent采集各类监控项数值，传给transfer transfer校验和整理监控项数值，做一致性hash分片，传给对应的judge模块以验证是否触发告警 transfer整理监控项数值，做一致性hash分片，传输给graph以进行数据的存储 judge根据具体报警策略或阈值进行告警判断，如触发告警则组装告警event事件，写入缓存队列。 alarm和sender根据...
Falcon（二）——架构详解
Nobigo
02-26 6975
架构介绍Falcon是一个面向Hadoop的数据集和处理过程的管理平台。Falcon本质上是通过数据处理引擎将数据集和处理过程的配置文件转化为重复的业务处理流程。Falcon并不做任何繁重的工作，所有的过程和处理流管理都是由工作流调度器来完成的。Falcon所做的就是维持实体之间的依赖关系。Falcon给开发人员提供便捷。架构的整体框架调度器Falcon选择Oozie作为默认的调度器。当然Falco
falcon安装
天堂鸟（积累备忘）
08-13 236
Falcon的安装步骤。 [url]http://www.secrule.com/falcon/index.html[/url] 如何安装并且开始监控提供： 第一步，解压并检查程序编译环境 [code="java"]tar -zxvf falcon.tar.gz cd Release/ ./check.sh[/code] 看到以下信息证明程序编译环境准备就绪 [code="ja...
openfalcon - 日志报警实验
vbaspdelphi的专栏
10-18 3739
falcon-logdog配置如下报警策略配置。注意看error=*这个地方，本身error是tag里面的name，本意是只要log这个指标中有error这个name那么不管value是啥都要报警。打入测试数据logdog 已经发现了关键字，注意，这个地方还是两行,因为我们有两个exp，而且是包含的关系，我们的测试数据是一个子集，所以匹配到两行那么会不会报警来?。抱歉这个真没有，如果我们去掉erro
openfalcon 文档
10-02
之后，随着业务规模的持续快 速增长，监控的对象也越来越多，越来越复杂，监控系统的使用对象也从最初少数的几个 SRE，扩大为更多的DEVS，SRE。这时候，监控系统的容量和用户的“使用效率”成了最为突 出的问题。 ...
open-falcon-中文文档笔记.zip
05-23
因此，我们在过去的一年里，从互联网公司的一些需求出发，从各位SRE、SA、DEVS的使用经验和反馈出发，结合业界的一些大的互联网公司做监控，用监控的一些思考出发，设计开发了小米的监控系统：open-falcon。...
Falcon
10-25
此外，Falcon字体可能还包含特殊字符、符号或多语言支持，这使得它适用于多种用途，包括国际化网站、多语种文档等。在版权方面，使用任何字体都应确保遵循其授权协议，一些字体可能是免费的，而其他则可能需要购买...
falcon-api:使用Python Falcon和MongoDB进行测试
05-09
下面，我们将深入探讨如何使用Python Falcon与MongoDB进行测试。 首先，让我们了解一下Falcon。Falcon框架是用Python编写，设计目标是快速响应、低内存占用和高效的性能。它提供了一个简洁的API设计模型，允许...
小米监控工具open-falcon安装包.zip
03-15
open-falcon是一个活跃的开源项目，拥有丰富的社区资源和文档支持。开发者和使用者可以在社区交流经验，寻求帮助，共同推动项目发展。 总之，open-falcon作为小米公司贡献的开源监控工具，为企业提供了高效、全面...
Falcon教程
Filter_CPH的博客
10-20 4802
原文：http://www.jianshu.com/p/0c2535da7600# Falcon教程 Falcon Tutorial(英文链接) 1. 整体架构(The Big Picture) 架构图 2. 开始(First Steps) 在开始之前，先得保证falcon已经安装。然后创建一个新的project目录“look”，然后
open-falcon 小米企业级监控文档 start
bellus
07-28 1067
open-falcon 小米企业级监控文档 start
open-falcon+grafana
wanchaopeng的博客
06-28 2707
1.安装grafana[root@mysql /data]# wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.4.3-1.x86_64.rpm [root@mysql /data]# yum install initscripts fontconfig [root@mysql /data]...
《open-falcon入门教程一》open-falcon介绍
我的博客
08-02 2万+
小米的监控系统：OpenFalcon是一款企业级、高可用、可扩展的开源监控解决方案。 一、特点 ①强大灵活的数据采集：自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like（timestamp、endpoint、metric、key-value tags） ②水平扩展能力：支持每个周期上亿次的数据采集、告警...
open-falcon Dashboard初步使用
架构师的一小步的博客
08-30 4503
（官网讲解） 系统搭建好了，应该如何用起来，这节给大家逐步介绍一下 查看监控数据 我们说agent只要部署到机器上，并且配置好了heartbeat和transfer就自动采集数据了，我们就可以去dashboard上面搜索监控数据查看了。dashboard是个web项目，浏览器访问之。左侧输入endpoint搜索，endpoint是什么？应该用什么搜索？对于agent采集的数据，endpoin
open-falcon使用
Yu的博客
01-08 1007
http://book.open-falcon.org open-falcon是一个监控系统，里面提供了很多api，可供使用。 公司是做的加速器，用open-falcon来监控调度系统各种信息，便于监控各个节点的调度信息。在服务器安装了falcon-agent，自动采集各项指标，主动上报。 agent 采集机器负载监控指标，每隔60秒push给transfer。agent与transfer...
简析运维监控系统及Open-Falcon
热门推荐
Java之旅
07-24 5万+
监控系统对系统正常运行的作用监控系统对系统正常运行的作用监控系统，可以从运营级别（基本配置即可），以及应用级别（二次开发，通过端口进行日志上报），对服务器、操作系统、中间件、应用进行全面的监控，及报警，对我们的系统正常运行的作用非常重要。 我所在的公司，在去年完成了从Zabbix到Open-Falcon的转换，有从小米过来的运维工程师的大力推动的影响，也是由于对于巨量的数据上报/统计，万+上报节点，Zabbix力不从心了，而Open-Falcon这方面更加强大，转换之后，感觉Open-Falcon使用的比较
open-falcon原理以及使用(不断更新)
Danielsm的博客
03-18 1万+
文章目录 概述 Open-falcon的特性 监控控范围 1）基础监控。 2）业务应用监控。 3）第三方开源软件监控。 一、设计原理 1.模块架构 2.模块拆解(模块配置项查看第三章) 　　part01：数据采集&上报 　　part02: 告警 　　part03：归档&绘图 　　part04：报警策略配置 4.执行过程 5.模块描述表 二、Web使用​​​​ 1.图表监控项目 Dashboard 使用 监控项解释（第三章第二节）
falcon常用参数解析
happy_85的专栏
05-25 5702
CPU.xxx cpu.idle cpu.idle表示除硬盘IO等待时间以外其它等待时间，这个值越大，表示cpu越空闲，还可以执行更多的任务，反之亦然，此处我们falcon展示的是idle的波动情况， cpu.busy 与cpu.idle相对，他的值等于100减去cpu.idle。 cpu.steal cpu.steal表示被同一宿主机上的其他vm所占用的超出指定cpu
openfalcon
最新发布
09-12
Open-Falcon是一个运维监控系统，可以用于监控和管理服务器、应用程序和网络设备。可以通过以下链接下载Open-Falcon软件。关于Open-Falcon的编写历程，可以参考中提供的链接。此外，还可以参考中的参考文档，了解Open-Falcon的运维监控系统以及如何安装和使用它。对于Linux平台的运维基础采集项，可以查看中提供的链接获取更多信息。希望这些资料能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值