2017年03月_ZhaoYingChao88

12月 11月 10月 06月 05月 04月 03月 01月

原创 Linux nmon监控、分析系统性能使用

一.下载nmon。根据CPU的类型选择下载相应的版本：http://nmon.sourceforge.net/pmwiki.php?n=Site.Downloadwget http://sourceforge.net/projects/nmon/files/download/nmon_x86_12a.zip/download二.初始化nmon工具。#unz

2017-03-30 14:39:36 650

原创 linux中shell变量$#,$@,$0,$1,$2的含义解释

下面是常用的shell变量：$0 Shell本身的文件名$1～$n 添加到Shell的各参数值。$1是第1参数、$2是第2参数…$$ Shell本身的PID（ProcessID）$! Shell最后运行的后台Process的PID$? 最后运行的命令的结束代码（返回值）$- 使用Set命令设定的Flag一览$*

2017-03-29 12:48:04 689

原创 Spark-SQL编程总结

概览Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互，无论使用何种方式，SparkSQL使用统一的执行引擎记性处理。用户可以根据自己喜好，在不同API中选择合适的进

2017-03-23 12:59:39 3526 1

原创 spark基础知识

一. Spark基础知识 1.Spark是什么?UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适

2017-03-23 11:50:31 616

原创 Spark源码走读之 -- sql的解析与执行

一般来说任意一个sql子系统都需要有parser,optimizer,execution三大功能模块，在spark中这些又都是如何实现的呢，这些实现又有哪些亮点和问题？带着这些疑问，本文准备做一些比较深入的分析。SQL模块分析有几大难点，分别为sql分析和执行的通用过程，这个与是否用spark无关，应该是非常general的问题spark sql中具体实现时的整体架构源码阅读时碰到

2017-03-23 11:47:46 671

原创 spark-sql架构与原理

一. 整体架构总结为如下图： Dataframe本质是数据 + 数据的描述信息（结构元信息）所有的上述SQL及dataframe操作最终都通过Catalyst翻译成spark程序RDD操作代码 sparkSQL前身是shark，大量依赖Hive项目的jar包与功能，但在上面的扩展越来越难，因此出现了SparkSQL，它重写了分析器，执行器脱离了

2017-03-23 11:27:35 1468

原创 SparkSQL相关语法总结

1.in 不支持子查询 eg. select * from src where key in(select key from test);支持查询个数 eg. select * from src where key in(1,2,3,4,5);in 40000个耗时25.766秒in 80000个耗时78.827秒2.union all/union不支持顶层的union

2017-03-23 11:23:23 5397 1

原创 jvm 内存溢出的多种原因及优化方法

让我们看一下我们日常在开发过程中接触内存溢出的异常：　　Exception in thread "main" [Full GCjava.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Unknown Source) at java.util.Arrays.copyOf(Unknown

2017-03-22 10:33:50 10387

原创 JAVA GC 常见错误处理方法

java.lang.OutOfMemoryError: Java heap space原因：Heap内存溢出，意味着Young和Old generation的内存不够。解决：调整java启动参数-Xms -Xmx 来增加Heap内存。java.lang.OutOfMemoryError: unable to create new native thread原因：St

2017-03-22 10:23:56 3144