Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f
4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management,即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品,Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用,包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后,对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中,CEM和CFM就是一次开始,它们为IOT场景的边缘管理和边缘数据搜集带来了可能。
Cloudera Flow Management(CFM)是基于Apache NiFi托拉拽不用写代码的数据摄取和管理解决方案。凭借灵活的用户界面,300多个处理器和NiFi Registry,CFM为企业提供高度可扩展的数据管理和DevOps功能。Cloudera Edge Management(CEM)是一种边缘管理解决方案,由边缘agent和边缘管理hub组成。它管理,控制和监控边缘agent,以从边缘设备收集数据并将智能推送回边缘。CEM允许您在数千个边缘设备上开发,部署,运行和监控边缘流应用程序。
1 Cloudera Flow Management
如果您的企业存在以下数据管理的挑战,那么您应该了解Cloudera Flow Management如何帮助您解决此类问题:
1.数据移动 - 无法将极大量的数据从一个数据中心移动到另一个数据中心或从on-premise移动到on-cloud,反之亦然。
2.持续数据摄取 - 无法处理来自多个源的高速,大量的流数据。
3.日志摄取 - 无法从企业中的数千个应用程序或系统中摄取日志数据。
4.IoT数据处理 - 无法从数千个边缘agent中摄取企业需要的IoT数据。
通过利用Cloudera Flow Management,您的企业可以获得这些好处:
1.防止厂商锁定并促进创新 - 100%开源技术
2.减少数据集成开发时间和成本 - 成熟的Nifi产品包括超过300个processor,以及庞大的社区支持。
3.管理和保护从边缘到企业的数据 - 全方位的流数据平台,具有统一安全和治理。
4.任意流数据的完整治理 - NiFi中的开箱即用的数据溯源跟踪 - 行业内唯一的产品。
5.轻松地从任意环境移动PB级数据 - 通过与schema无关的处理,构建之初就支持扩展。
2 Cloudera Edge Management
如果您的企业正在实施IoT或具有复杂的边缘流使用场景,并且存在以下一系列边缘管理挑战,那么您应该了解Cloudera Edge Management如何帮助您解决此类问题:
1.缺乏在边缘收集和处理数据的工具
2.将数据从边缘移动到云非常昂贵
3.构建边缘数据收集/IoT应用程序需要大量编码并且可能非常耗时
4.在数千个边缘点上管理应用程序非常复杂
5.没有工具来监控边缘上运行的数千个应用程序
6.难以在用户无法控制的环境中开发安全数据管道
通过利用Cloudera Edge Management,您的企业可以获得这些好处:
1.与NiFi构建流程应用程序一样,你也可以构建边缘数据采集。
2.通过收集,策划和分析来自数千个边缘设备的数据,构建成功的IoT。
3.通过可视化的监控和管理所有已部署的agent,简化你的运营和维护。