Hive分区修复命令MSCK使用1

场景: 如果事先建立了一张分区表,然后手动(比如使用 cp 或者 mv )将分区数据拷贝到刚刚新建的表进行数据初始化;但是对于分区表,需要在hive里面手动将刚刚初始化的数据分区加入到hive里面,这样才能够查询使用。通常的做法是使用 alter table add partition命令手动添加...

2018-12-05 11:01:00

阅读数 32

评论数 0

Spark 之 sql 缓存

hkl曰:缓存对于一些复用程度很高的rdd来说是很有用的,可以很大程度上提高效率。   1.几种缓存数据的方法   例如有一张Hive表叫做activity 1.CACHE TABLE   //缓存全表 sqlContext.sql("CACHE ...

2018-10-12 14:57:58

阅读数 45

评论数 0

maven 对spark 源码进行编译(基于Centos 7 )

maven 对spark 源码进行编译(基于Centos 7 )1 、写在前面的话    有些小伙伴可能会问:Spark官网不是已经提供了Spark针对不同版本的安装包了吗,我们为什么还需要对Spark源码进行编译呢?针对这个问题我们到Spark官网: spark.apache.org来看下,如下...

2018-05-30 10:01:36

阅读数 412

评论数 0

Spark性能优化篇四:shuffle调优

Spark性能优化篇四:shuffle调优shuffle调优调优概述      大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是...

2018-05-30 09:55:43

阅读数 141

评论数 2

Spark性能优化篇一:资源调优

Spark性能优化篇一:资源调优     所谓的Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数,每个参数都对应着作业运行原理中的某个部分,我们同时也给出了...

2018-05-30 09:53:52

阅读数 243

评论数 0

Spark性能优化篇三:数据倾斜调优

Spark性能优化篇三:数据倾斜调优前言   继 Spark性能优化篇二: 开发调优和 Spark性能优化篇一:资源调优讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。...

2018-05-30 09:53:00

阅读数 227

评论数 0

Spark性能优化篇二: 开发调优

Spark性能优化篇二: 开发调优1、前言      在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有...

2018-05-30 09:51:48

阅读数 292

评论数 2

schedule 任务调度偶发不执行问题

实验一我们先看下下面这段简单的代码。如下:public class ExecutoryServiceTest {        private static ScheduledExecutorService executorService = Executors.newScheduledThr...

2018-03-16 11:09:17

阅读数 944

评论数 0

Mac OS 终端利器 iTerm2

Mac OS 终端利器 iTerm2之前一直使用 Mac OS 自带的终端,用起来虽然有些不太方便,但总体来说还是可以接受的,是有想换个终端的想法,然后今天偶然看到一个终端利器 iTerm2,发现真的很强大,也非常的好用,按照网上配置了主题什么的,还是有些坑的,这边再记录下,以便后面查阅。1. 安...

2018-03-15 10:01:43

阅读数 775

评论数 0

Maven项目mybatis Invalid bound statement (not found)解决方法

最近因为工作需要,要学习mybatis框架。在添加好一些依赖之后,通过mybatis进行数据库的crud操作。但是在测试的时候总是报mybatis:Invalid bound statement (not found)。在网上搜索了好久,最后终于发现了问题的所在,现在把它记录下来,供大家参考:在m...

2018-03-09 12:07:47

阅读数 111

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭