2018年04月_Dillon_Wang

06月 05月 04月

原创 Docker 中国官方镜像加速

通过 Docker 官方镜像加速，中国区用户能够快速访问最流行的 Docker 镜像。该镜像托管于中国大陆，本地用户现在将会享受到更快的下载速度和更强的稳定性，从而能够更敏捷地开发和交付 Docker 化应用。 ...

2018-04-30 15:05:16 878

Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用spark ui做性能调整和优化。大体上会按照下面的思路进行讲解：怎么访问Spark UISparkUI能看到什么东西？job,stage,storage,environment,excuto...

2018-04-26 15:35:12 237

原创 Java8新特性之日期处理

简介伴随 lambda表达式、streams 以及一系列小优化，Java 8 推出了全新的日期时间API。Java处理日期、日历和时间的不足之处：将 java.util.Date 设定为可变类型，以及 SimpleDateFormat 的非线程安全使其应用非常受限。然后就在 java8 上面增加新的特性。全新API的众多好处之一就是，明确了日期时间概念，例如：瞬时（instant）、长短（dur...

2018-04-24 10:46:28 366

原创生产环境flume日志采集方案

Flume简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。名词介绍：Flume OG：Flume original generation,即Flume0.9x版本Flume NG：Flume next gen...

2018-04-16 10:13:38 9276

原创 spark配置参数详解

Spark配置参数说明 Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置，例如IP地址、端口等信息日志配置：可以通过log4j.properties配置 Spark属性Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配置它。这些属性可...

2018-04-13 18:01:52 284

原创 spark资源层面调优

num-executors　　参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。 Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行...

2018-04-13 17:57:52 253 1

原创 Spark rdd算子

#如果通过并行化的方式创建rdd，如果不指定分区的数量，那么跟你的核数相关#如果通过读取hdfs里面的数据创建rdd，那么分区的数量跟输入切片的数量是一致的 #查询分区长度rdd4.partitions.length #已并行化的方式创建rddvalrdd1=sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))valrdd1=sc.parallelize(List(...

2018-04-13 17:53:41 214