- 博客(429)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 从入门到精通 - Fayson带你玩转CDH
Fayson保持每天推一篇文章,本文随之每天更新。以下所有文章均为超链接,可以直接点击文章名跳转。还没附上超链接的文章是还没上传的,会再后续更新后陆续补上1.规划设计1.1.on-premise部署规划0001-《CDH网络要求(Lenovo参考架构)》0062-《如何为Hadoop集群选择正确的硬件》0158-《如何给Hadoop集群划分角色》1.2.on private c...
2019-09-22 01:21:06
3857
原创 Cloudera私有云CML动手实验营_2023-07-14
在本次研讨会中,我们将向您介绍World Wide Telco organization的一个真实案例。该企业有许多机器学习用例,今天重点关注一个特定场景的用例。在该用例中,企业试图减少客户的流失(即取消),并且大多数取消来自企业的呼叫中心。在本次的动手实操中,客户Francisco会打电话表示取消,呼叫中心应用程序将根据Francisco的取消来预测取消原因,向WW Telco的客户经理Stefan提供建议。然后,他将向Francisco提供报价,用户将选择接受或不接受。
2023-07-12 17:03:26
437
原创 0798-7.1.2-如何在Redhat7.8中安装CDP DC
Fayson的github: https://github.com/fayson/cdhproject推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f,或者扫描文末二维码。1 文档编写目的CDP DC是Cloudera与Hortonworks合并后,第一个融合CDH和HDP所有组件的on-premise版本,CDP Data Center主要由Cloudera Runtime构成,Cloudera Runtime由超过35个开源项目组成,当然CDP Data Cent.
2020-08-11 16:25:11
1353
原创 0359-模型训练和部署-Iris数据集
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了关于《CDSW1.4的新功能》、《Hadoop之上的模型训练 - CDSW1.4新功能模块》、《CDSW1.4的E...
2020-03-08 23:21:39
694
原创 0358-CDSW1.4的Models功能-创建和部署模型(QuickStart)
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了关于《CDSW1.4的新功能》、《Hadoop之上的模型训练 - CDSW1.4新功能模块》、《CDSW1.4的E...
2020-03-08 23:20:34
796
原创 0356-CDSW1.4的Experiments功能使用
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了关于《CDSW1.4的新功能》及《Hadoop之上的模型训练 - CDSW1.4新功能模块》,本篇文章Fayson...
2020-03-08 23:19:20
391
原创 0355-Hadoop之上的模型训练 - CDSW1.4新功能模块
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.概述CDSW1.4提供了一个新的实验室模块,可以让数据科学家运行批处理的实验。从而跟踪代码版本,输入参数和输出指标与文件。如下图所示,这个功能可以帮助数据科...
2020-03-08 23:18:36
485
原创 0354-如何使用Java调用CM的API动态配置Yarn资源池
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的用户在使用CDH集群大数据平台时会有需求在自己的统一管理平台上通过API接口能够动态的设置Yarn资源池,Cloudera Manager提供了...
2020-03-08 23:17:48
1168
1
原创 0353-如何使用curl命令调用CM的API动态配置Yarn资源池
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在使用CDH集群大数据平台过程中,用户会有需求在自己的统一管理平台上通过API接口能够动态的设置Yarn资源池,Cloudera Manager...
2020-03-08 23:17:03
938
原创 0352-Spark2Streaming读非Kerberos环境的Kafka并写数据到Kudu
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Spark2Streaming读Kerberos环境的Kafka并写数据到Kudu》,本...
2020-03-08 23:15:16
429
原创 0350-如何通过CM将CDSW从1.3升级至1.4
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的随着CDSW新版本的发布也提供了更多的新功能,具体参考Fayson前面文章《CDSW1.4的新功能》,本篇文章Fayson主要介绍如何通过Clo...
2020-03-08 23:14:25
404
原创 0414-05-如何为Hive集成AD认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...
2020-03-08 23:08:29
559
原创 0415-06-如何为Impala集成AD认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...
2020-03-08 23:07:42
312
原创 0416-07-如何为Hue集成AD认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...
2020-03-07 23:24:31
619
原创 0417-08-如何为Navigator集成Active Directory认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...
2020-03-07 23:23:22
356
原创 0418-09-如何为CDSW集成Active Directory认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...
2020-03-07 23:22:43
343
原创 0419-如何将CDH中集成的RedHat7版Kerberos切换至Active Directory的Kerberos认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务,由于Active Directory服务...
2020-03-07 23:21:59
461
原创 0420-如何为CDH集成Active Directory的Kerberos认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务,由于Active Directory服务...
2020-03-07 23:21:14
677
原创 0421-如何在不重启Yarn服务的情况下启用DEBUG日志记录
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yar...
2020-03-07 23:20:25
475
原创 0422-如何为Hue添加自定义Banner
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在用户使用Hue时,如果需要在Hue界面设置一些提示等信息(如:“Hue用户申请及权限放通,请联系xxx”)时。那这是我们可以通过配置在Hue界...
2020-03-07 23:19:47
358
原创 0423-11-如何为Cloudera Manager集成Active Directory认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面一系列文章中介绍了AD的安装及与CDH集群中各个组件的集成,包括《01-如何在Window Server 2012 R2搭建A...
2020-03-07 23:18:56
541
原创 0424-14.如何为Cloudera Manager集成OpenLDAP认证
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面一系列文章中介绍了OpenLDAP的安装及与CDH集群中各个组件的集成,包括《1.如何在RedHat7上安装OpenLDA并配...
2020-03-07 23:17:18
371
原创 0746-5.16.2-Impala中查询监控状态检查告警解析
作者:唐辉文档说明在使用impala 的过程中,在CM页面经常能看到IMPALA时, 经常看到IMPALA DAEMON 出现如下告警The health test result for IMPALAD_QUERY_MONITORING_STATUS has become bad: There are 1 error(s) seen monitoring executing queries,...
2020-03-07 23:14:33
2435
原创 0754-5.16.2-Hive中使用Substr拆分含中文乱码字符串报错异常分析
作者:余枫问题描述从上游Oracle数据库中导出的携带中文乱码且编码集为ISO-8859-1的数据文件,将导出的数据文件导入到Hive表,在原始表的基础上通过创建视图,按照与上游接口约定的定长的方式拆分字段时报错,异常内容如下:java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive ...
2020-03-01 15:13:50
954
原创 0753-6.3.3-如何在Redhat7.6安装CDH6.3.3
作者:段自强文档编写目的CDH6.3.3于2020年2月4日发布,从该版本开始,Cloudera将不再提供CDH免费版,用户只能通过试用或者购买正式许可证才能够下载CDH安装包及使用,参考《0743-Cloudera Enterprise 6.3.3发布》。这篇文档主要介绍了在Redhat7.6环境下安装CDH6.3.3集群的详细步骤。操作环境1.操作系统:RedHat7.62.集群...
2020-03-01 15:13:19
1905
2
原创 0752-7.0.3-如何在CDP DC7.0.3安装Ranger
Fayson的github:https://github.com/fayson/cdhproject文档编写目的在前面的文章中,Fayson介绍了《如何在Redhat7.6中安装CDP DC7.0.3》和《如何在CDP DC7.0.3集群部署Flink1.9.1》,基于前面的集群环境,本篇文章Fayson主要介绍如何在CDP DC7.0.3集群安装Ranger。文档概述1.如何在...
2020-03-01 15:12:47
903
原创 0751-7.0.3-如何在CDP DC7.0.3中启用Kerberos
Fayson的github:https://github.com/fayson/cdhproject文档编写目的在前面的文章中,Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》,这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议,并不是Hadoop专用,你可以将其用于其他系统。它采用了传统的共享秘钥...
2020-03-01 15:12:16
724
原创 0750-7.0.3-如何在CDP DC7.0.3集群部署Flink1.9.1
文档编写目的在前面的文章中,Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》,基于前面的集群环境,本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。文档概述1.如何在CDP DC集群安装FLink1.9.12.运行一个Flink示例验证测试...
2020-03-01 15:11:49
1236
转载 Flink 1.10 新特性研究
Flink 1.10 release 文档描述了一些比较重要的点,比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别,如果你准备将 Flink 升级到 1.10 版本,建议仔细看完下面的内容。集群和部署•文件系统需要通过插件的方式加载•Flink 客户端根据配置的类加载策略加载,parent-first 和 child-first 两种方式•允许在所有的 TaskManager 上...
2020-03-01 15:11:01
600
原创 0749-5.14.4-如何实现Kafka Broker节点磁盘数据Balance
文档编写目的Kafka的数据目录可以配置一个或多个,通常这些目录是分布在不同的磁盘上用于提高K集群的读写性能,同时也可以提升消息的存储空间。实际的生产环境中随着消息量的增加,Kafka存储的消息量过大,导致磁盘空间爆满,此时在不扩容Broker的情况下,我们通过对已有节点挂载磁盘的方式扩容Kafka的存储。在扩容存储后会发现已有Topic的Partition并不会自动均衡到新的磁盘上,依然没有...
2020-03-01 15:09:00
877
1
原创 PySpark启动过程解密
原文作者:李海强,来自平安银行零售大数据团队前言作为数据工程师,你可能会碰到过很多种启动PySpark的方法,可能搞不懂这些方法有什么共同点、有什么区别,不同的方法对程序开发、部署有什么影响,今天我们一起分析一下这些启动PySpark的方法。以下代码分析都是基于spark-2.4.4版本展开的,为了避免歧义,务必对照这个版本的Spark深入理解。启动PySpark的方法启动PySp...
2020-03-01 15:08:14
1303
原创 Calcite技术研究
原文作者:王长春,来自平安银行零售大数据团队概述Apache Calcite是一个基础的软件框架,它提供了查询处理、查询优化以及查询语言支持的能力。很多流行的开源数据处理系统例如Apache Hive,Apache Storm,ApacheFlink,Druid等都采用了它。下图是采用Apache Calcite的开源数据处理系统,以及Calcite能连接到的数据源。大多数数据处理系...
2020-03-01 15:07:43
1425
原创 0748-5.14.4-Kafka的扩容和缩容
文档编写目的在Kafka集群资源使用已超出系统配置的资源时,或者有大量资源闲置造成资源浪费的时候,需要分别通过扩容Kafka和缩容Kafka来进行调整。本篇文章Fayson主要介绍如何进行Kafka的扩容和缩容,以及变更后的Kafka集群如何进行负载均衡的操作。测试环境:1.Redhat7.22.采用root用户操作3.CM为5.16.2,CDH为5.14.44.Kafka版本为0...
2020-03-01 15:06:54
2424
原创 如何在CDH5.16.2中部署Apache Dolphin Scheduler 1.2.0
作者:黄立,长安汽车Apache Dolphin Scheduler组件介绍分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。官网 : https://dolphinscheduler.apache.org/en-us/Github : https://github.com/apache/incubator-do...
2020-02-22 23:17:09
1843
1
原创 0747-5.16.2-YARN日志聚合目录说明
作者:朱超杰文档编写目的日志聚合是YARN提供的日志集中化管理功能,它能将运行完成的Container任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个集中式存储和分析机制。默认情况下,Container任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。本文需要介绍的yarn.nodemanager.remote-app-log-dir配置是...
2020-02-22 23:16:14
1065
原创 PySpark工作原理
原文作者:李海强,来自平安银行零售大数据团队前言Spark是一个开源的通用分布式计算框架,支持海量离线数据处理、实时计算、机器学习、图计算,结合大数据场景,在各个领域都有广泛的应用。Spark支持多种开发语言,包括Python、Java、Scala、R,上手容易。其中,Python因为入门简单、开发效率高(人生苦短,我用Python),广受大数据工程师喜欢,本文主要探讨Pyspark的工作原...
2020-02-22 23:15:52
1265
翻译 重磅 | Hadoop的第二个十年
原文链接:https://medium.com/swlh/hadoop-evolution-decade2-ca46e5514713作者:Arun C MurthyCloudera 现任CPO,原Hortonworks联合创始人译者:刘岩Cloudera 解决方案工程师理解Cloudera Data Platform的一个核心的关键点,是需要从架构层面上,通过对比Hadoop的上一...
2020-02-22 23:15:03
405
原创 一步一步理解 Impala query profile(四)
翻译:九州暮云作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和CDH)。现任职Clo...
2020-02-22 23:13:58
1084
原创 Apache Flink 1.10.0 重磅发布,年度最大规模版本升级!
翻译|宋辛童校对|李钰Apache Flink 社区迎来了激动人心的两位数位版本号,Flink 1.10.0 正式宣告发布!作为 Flink 社区迄今为止规模最大的一次版本升级,Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现,包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持(...
2020-02-22 23:13:28
539
原创 0425-如何清理Sqoop脚本产生的临时编译目录
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在使用Sqoop命令进行数据抽取时,执行的抽数脚本会在/tmp/sqoop-${user}/compile目录下产生临时的编译文件,脚本执行成功...
2020-02-22 23:12:33
956
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人