tianshuai1212-CSDN博客

原创阿里巴巴开发手册

一，编程规定1，命名风格1），代码命名均不能以下划线和美元符号开头或结尾 2），代码中严禁使用拼音和单词混写，更不能直接使用中文 3），类名必须单词首字母大写 4），方法名，参数名，成员变量，局部变量统一使用驼峰命名法 5），常量名必须全部大写，单词间一下划线连接，力求语义表达清晰，不要怕名长 6），抽象类使用Abstract或Base开头，异常类以Exception开头，测试类...

2018-09-13 16:33:10 226

原创 YARN Application Security

overview编写YARN应用程序的任何人都需要了解该过程，以便编写短期应用程序或长期服务。他们还需要在早期开发阶段开始对安全集群进行测试，以便编写实际可行的代码。 How YARN Security works YARN资源管理器（RM）和节点管理器（NM）合作以使用该用户的身份和访问权限来执行用户的应用程序。The (active) Resource Manager: 1....

2018-09-04 10:10:11 616

原创 Hardware Provisioning(硬件配置)

Hardware ProvisioningSpark开发人员收到的一个常见问题是如何为其配置硬件。虽然正确的硬件将取决于具体情况，但我们提出以下建议。Storage Systems由于大多数Spark作业可能必须从外部存储系统（例如Hadoop文件系统或HBase）读取输入数据，因此将其尽可能靠近此系统放置非常重要。我们建议如下：如果可能的话，在与HDFS相同的节点上运行...

2018-09-03 17:26:38 253

原创 Security

Spark SecuritySpark目前通过共享密钥支持身份验证。可以通过spark.authenticate配置参数将身份验证配置为打开。此参数控制Spark通信协议是否使用共享密钥进行身份验证。此身份验证是一种基本握手，可确保双方具有相同的共享密钥并允许进行通信。如果共享密钥不相同，则不允许它们进行通信。共享密钥创建如下：对于YARN部署上的Spark，将spark.au...

2018-09-03 17:21:30 314

原创 Job Scheduling

OverviewSpark有几种用于在计算之间调度资源的工具。首先，回想一下，如集群模式概述中所述，每个Spark应用程序（SparkContext的实例）都运行一组独立的执行程序进程。 Spark运行的集群管理器提供跨应用程序进行调度的工具。其次，在每个Spark应用程序中，如果多个“作业”（Spark动作）由不同的线程提交，则它们可以同时运行。如果您的应用程序通过网络提供请求，则这很...

2018-09-03 16:52:57 677

原创 Tuning (调试)

Tuning Spark由于大多数Spark计算的内存特性，Spark程序可能会受到群集中任何资源的瓶颈：CPU，网络带宽或内存。大多数情况下，如果数据适合内存，瓶颈就是网络带宽，但有时候，您还需要进行一些调整，例如以序列化形式存储RDD，以减少内存使用。本指南将介绍两个主要主题：数据序列化，这对于良好的网络性能至关重要，还可以减少内存使用和内存调整。我们还草拟了几个较小的主题。...

2018-09-03 16:27:56 3979

原创 Monitoring（监控）

Monitoring and Instrumentation有几种方法可以监控Spark应用程序：Web UI，指标和外部检测。Web Interfaces默认情况下，每个SparkContext都会在端口4040上启动Web UI，以显示有关应用程序的有用信息。这包括：调度程序阶段和任务的列表RDD大小和内存使用情况的摘要环境信息有关运行执行程序的信息请注意，...

2018-09-03 15:19:15 3742

原创 Spark Configuration

Spark PropertiesSpark属性控制大多数应用程序设置，并为每个应用程序单独配置。可以直接在传递给SparkContext的SparkConf上设置这些属性。 SparkConf允许您通过set（）方法配置一些常见属性（例如主URL和应用程序名称）以及任意键值对。例如，我们可以使用两个线程初始化应用程序，如下所示：请注意，我们使用local [2]运行，这意味着两个线程 ...

2018-09-03 08:32:37 895

tianshuai1212的博客