关注
分享
Hadoop_SC
“在老子家乡那边，借人钱财，借你十两就还得还十二三两，我温华的剑，是你教的，我废去全身武功，再还你一条手臂一条腿！” ——温华
展开
-
0798-7.1.2-如何在Redhat7.8中安装CDP DC
Fayson的github： https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。1 文档编写目的CDP DC是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Cent.原创 2020-08-11 16:25:11 · 1326 阅读 · 0 评论 -
0359-模型训练和部署-Iris数据集
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了关于《CDSW1.4的新功能》、《Hadoop之上的模型训练 - CDSW1.4新功能模块》、《CDSW1.4的E...原创 2020-03-08 23:21:39 · 681 阅读 · 0 评论 -
0358-CDSW1.4的Models功能-创建和部署模型(QuickStart)
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了关于《CDSW1.4的新功能》、《Hadoop之上的模型训练 - CDSW1.4新功能模块》、《CDSW1.4的E...原创 2020-03-08 23:20:34 · 784 阅读 · 0 评论 -
0356-CDSW1.4的Experiments功能使用
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了关于《CDSW1.4的新功能》及《Hadoop之上的模型训练 - CDSW1.4新功能模块》，本篇文章Fayson...原创 2020-03-08 23:19:20 · 371 阅读 · 0 评论 -
0355-Hadoop之上的模型训练 - CDSW1.4新功能模块
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.概述CDSW1.4提供了一个新的实验室模块，可以让数据科学家运行批处理的实验。从而跟踪代码版本，输入参数和输出指标与文件。如下图所示，这个功能可以帮助数据科...原创 2020-03-08 23:18:36 · 479 阅读 · 0 评论 -
0354-如何使用Java调用CM的API动态配置Yarn资源池
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的用户在使用CDH集群大数据平台时会有需求在自己的统一管理平台上通过API接口能够动态的设置Yarn资源池，Cloudera Manager提供了...原创 2020-03-08 23:17:48 · 1161 阅读 · 1 评论 -
0353-如何使用curl命令调用CM的API动态配置Yarn资源池
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在使用CDH集群大数据平台过程中，用户会有需求在自己的统一管理平台上通过API接口能够动态的设置Yarn资源池，Cloudera Manager...原创 2020-03-08 23:17:03 · 915 阅读 · 0 评论 -
0352-Spark2Streaming读非Kerberos环境的Kafka并写数据到Kudu
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介绍了在Kerberos环境下《Spark2Streaming读Kerberos环境的Kafka并写数据到Kudu》，本...原创 2020-03-08 23:15:16 · 415 阅读 · 0 评论 -
0350-如何通过CM将CDSW从1.3升级至1.4
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的随着CDSW新版本的发布也提供了更多的新功能，具体参考Fayson前面文章《CDSW1.4的新功能》，本篇文章Fayson主要介绍如何通过Clo...原创 2020-03-08 23:14:25 · 386 阅读 · 0 评论 -
0414-05-如何为Hive集成AD认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...原创 2020-03-08 23:08:29 · 540 阅读 · 0 评论 -
0415-06-如何为Impala集成AD认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...原创 2020-03-08 23:07:42 · 303 阅读 · 0 评论 -
0416-07-如何为Hue集成AD认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...原创 2020-03-07 23:24:31 · 603 阅读 · 0 评论 -
0417-08-如何为Navigator集成Active Directory认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...原创 2020-03-07 23:23:22 · 341 阅读 · 0 评论 -
0418-09-如何为CDSW集成Active Directory认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Activ...原创 2020-03-07 23:22:43 · 325 阅读 · 0 评论 -
0419-如何将CDH中集成的RedHat7版Kerberos切换至Active Directory的Kerberos认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务，由于Active Directory服务...原创 2020-03-07 23:21:59 · 447 阅读 · 0 评论 -
0420-如何为CDH集成Active Directory的Kerberos认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务，由于Active Directory服务...原创 2020-03-07 23:21:14 · 661 阅读 · 0 评论 -
0421-如何在不重启Yarn服务的情况下启用DEBUG日志记录
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的为了解决Yarn问题，需要为不同的服务启用调试。但是，在生产集群中，可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yar...原创 2020-03-07 23:20:25 · 458 阅读 · 0 评论 -
0422-如何为Hue添加自定义Banner
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在用户使用Hue时，如果需要在Hue界面设置一些提示等信息(如：“Hue用户申请及权限放通，请联系xxx”)时。那这是我们可以通过配置在Hue界...原创 2020-03-07 23:19:47 · 339 阅读 · 0 评论 -
0423-11-如何为Cloudera Manager集成Active Directory认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面一系列文章中介绍了AD的安装及与CDH集群中各个组件的集成，包括《01-如何在Window Server 2012 R2搭建A...原创 2020-03-07 23:18:56 · 518 阅读 · 0 评论 -
0424-14.如何为Cloudera Manager集成OpenLDAP认证
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面一系列文章中介绍了OpenLDAP的安装及与CDH集群中各个组件的集成，包括《1.如何在RedHat7上安装OpenLDA并配...原创 2020-03-07 23:17:18 · 360 阅读 · 0 评论 -
0746-5.16.2-Impala中查询监控状态检查告警解析
作者：唐辉文档说明在使用impala 的过程中，在CM页面经常能看到IMPALA时， 经常看到IMPALA DAEMON 出现如下告警The health test result for IMPALAD_QUERY_MONITORING_STATUS has become bad: There are 1 error(s) seen monitoring executing queries,...原创 2020-03-07 23:14:33 · 2425 阅读 · 0 评论 -
0754-5.16.2-Hive中使用Substr拆分含中文乱码字符串报错异常分析
作者：余枫问题描述从上游Oracle数据库中导出的携带中文乱码且编码集为ISO-8859-1的数据文件，将导出的数据文件导入到Hive表，在原始表的基础上通过创建视图，按照与上游接口约定的定长的方式拆分字段时报错，异常内容如下：java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive ...原创 2020-03-01 15:13:50 · 931 阅读 · 0 评论 -
0753-6.3.3-如何在Redhat7.6安装CDH6.3.3
作者：段自强文档编写目的CDH6.3.3于2020年2月4日发布，从该版本开始，Cloudera将不再提供CDH免费版，用户只能通过试用或者购买正式许可证才能够下载CDH安装包及使用，参考《0743-Cloudera Enterprise 6.3.3发布》。这篇文档主要介绍了在Redhat7.6环境下安装CDH6.3.3集群的详细步骤。操作环境1.操作系统：RedHat7.62.集群...原创 2020-03-01 15:13:19 · 1893 阅读 · 2 评论 -
0752-7.0.3-如何在CDP DC7.0.3安装Ranger
Fayson的github：https://github.com/fayson/cdhproject文档编写目的在前面的文章中，Fayson介绍了《如何在Redhat7.6中安装CDP DC7.0.3》和《如何在CDP DC7.0.3集群部署Flink1.9.1》，基于前面的集群环境，本篇文章Fayson主要介绍如何在CDP DC7.0.3集群安装Ranger。文档概述1.如何在...原创 2020-03-01 15:12:47 · 880 阅读 · 0 评论 -
0751-7.0.3-如何在CDP DC7.0.3中启用Kerberos
Fayson的github：https://github.com/fayson/cdhproject文档编写目的在前面的文章中，Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议，并不是Hadoop专用，你可以将其用于其他系统。它采用了传统的共享秘钥...原创 2020-03-01 15:12:16 · 703 阅读 · 0 评论 -
0750-7.0.3-如何在CDP DC7.0.3集群部署Flink1.9.1
文档编写目的在前面的文章中，Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》，基于前面的集群环境，本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。文档概述1.如何在CDP DC集群安装FLink1.9.12.运行一个Flink示例验证测试...原创 2020-03-01 15:11:49 · 1225 阅读 · 0 评论 -
Flink 1.10 新特性研究
Flink 1.10 release 文档描述了一些比较重要的点，比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别，如果你准备将 Flink 升级到 1.10 版本，建议仔细看完下面的内容。集群和部署•文件系统需要通过插件的方式加载•Flink 客户端根据配置的类加载策略加载，parent-first 和 child-first 两种方式•允许在所有的 TaskManager 上...转载 2020-03-01 15:11:01 · 581 阅读 · 0 评论 -
0749-5.14.4-如何实现Kafka Broker节点磁盘数据Balance
文档编写目的Kafka的数据目录可以配置一个或多个，通常这些目录是分布在不同的磁盘上用于提高K集群的读写性能，同时也可以提升消息的存储空间。实际的生产环境中随着消息量的增加，Kafka存储的消息量过大，导致磁盘空间爆满，此时在不扩容Broker的情况下，我们通过对已有节点挂载磁盘的方式扩容Kafka的存储。在扩容存储后会发现已有Topic的Partition并不会自动均衡到新的磁盘上，依然没有...原创 2020-03-01 15:09:00 · 871 阅读 · 1 评论 -
PySpark启动过程解密
原文作者：李海强，来自平安银行零售大数据团队前言作为数据工程师，你可能会碰到过很多种启动PySpark的方法，可能搞不懂这些方法有什么共同点、有什么区别，不同的方法对程序开发、部署有什么影响，今天我们一起分析一下这些启动PySpark的方法。以下代码分析都是基于spark-2.4.4版本展开的，为了避免歧义，务必对照这个版本的Spark深入理解。启动PySpark的方法启动PySp...原创 2020-03-01 15:08:14 · 1284 阅读 · 0 评论 -
Calcite技术研究
原文作者：王长春，来自平安银行零售大数据团队概述Apache Calcite是一个基础的软件框架，它提供了查询处理、查询优化以及查询语言支持的能力。很多流行的开源数据处理系统例如Apache Hive,Apache Storm,ApacheFlink,Druid等都采用了它。下图是采用Apache Calcite的开源数据处理系统，以及Calcite能连接到的数据源。大多数数据处理系...原创 2020-03-01 15:07:43 · 1410 阅读 · 0 评论 -
0748-5.14.4-Kafka的扩容和缩容
文档编写目的在Kafka集群资源使用已超出系统配置的资源时，或者有大量资源闲置造成资源浪费的时候，需要分别通过扩容Kafka和缩容Kafka来进行调整。本篇文章Fayson主要介绍如何进行Kafka的扩容和缩容，以及变更后的Kafka集群如何进行负载均衡的操作。测试环境：1.Redhat7.22.采用root用户操作3.CM为5.16.2，CDH为5.14.44.Kafka版本为0...原创 2020-03-01 15:06:54 · 2416 阅读 · 0 评论 -
如何在CDH5.16.2中部署Apache Dolphin Scheduler 1.2.0
作者：黄立，长安汽车Apache Dolphin Scheduler组件介绍分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。官网 : https://dolphinscheduler.apache.org/en-us/Github : https://github.com/apache/incubator-do...原创 2020-02-22 23:17:09 · 1830 阅读 · 1 评论 -
0747-5.16.2-YARN日志聚合目录说明
作者：朱超杰文档编写目的日志聚合是YARN提供的日志集中化管理功能，它能将运行完成的Container任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个集中式存储和分析机制。默认情况下，Container任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配置。本文需要介绍的yarn.nodemanager.remote-app-log-dir配置是...原创 2020-02-22 23:16:14 · 1053 阅读 · 0 评论 -
PySpark工作原理
原文作者：李海强，来自平安银行零售大数据团队前言Spark是一个开源的通用分布式计算框架，支持海量离线数据处理、实时计算、机器学习、图计算，结合大数据场景，在各个领域都有广泛的应用。Spark支持多种开发语言，包括Python、Java、Scala、R，上手容易。其中，Python因为入门简单、开发效率高（人生苦短，我用Python），广受大数据工程师喜欢，本文主要探讨Pyspark的工作原...原创 2020-02-22 23:15:52 · 1247 阅读 · 0 评论 -
重磅 | Hadoop的第二个十年
原文链接：https://medium.com/swlh/hadoop-evolution-decade2-ca46e5514713作者：Arun C MurthyCloudera 现任CPO，原Hortonworks联合创始人译者：刘岩Cloudera 解决方案工程师理解Cloudera Data Platform的一个核心的关键点，是需要从架构层面上，通过对比Hadoop的上一...翻译 2020-02-22 23:15:03 · 390 阅读 · 0 评论 -
一步一步理解 Impala query profile（四）
翻译：九州暮云作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Clo...原创 2020-02-22 23:13:58 · 1045 阅读 · 0 评论 -
Apache Flink 1.10.0 重磅发布,年度最大规模版本升级！
翻译｜宋辛童校对｜李钰Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（...原创 2020-02-22 23:13:28 · 525 阅读 · 0 评论 -
0425-如何清理Sqoop脚本产生的临时编译目录
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在使用Sqoop命令进行数据抽取时，执行的抽数脚本会在/tmp/sqoop-${user}/compile目录下产生临时的编译文件，脚本执行成功...原创 2020-02-22 23:12:33 · 947 阅读 · 1 评论 -
0426-如何在Cloudera Manager中配置Yarn放置规则
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的Hadoop集群管理员希望能对集群Yarn作业的资源进行控制。根据不同的业务组或不同的用户，对Yarn的资源池进行划分，达到资源管控、任务管控的...原创 2020-02-22 23:11:46 · 693 阅读 · 0 评论 -
0427-CDH6中的第三方库
在最近发布的CDH6版本中，Cloudera投入了大量的人力和物力用于升级所使用的第三方库。这次CDH的大版本更新可以让我们使用到一些较新的库。升级库的目的主要是可以避免一些安全漏洞，使用某些库的流行版本以及标准化CDH所使用的库。现在的软件开发依赖于重用其他人的代码。以这种方式重用的代码称为“第三方库”(third-party library)。有很多这样的例子：需要Web服务器的工程师不会...原创 2020-02-22 23:10:53 · 362 阅读 · 0 评论