获取周期第一天和最后一天

/上个月今天的当前时间/ select date_sub(now(),interval 1 month) /上个月今天的当前时间(时间戳)/ select UNIX_TIMESTAMP(date_sub(now(),interval 1 month)) /上个月的第一天/ select date_...

2019-01-23 21:57:36

阅读数 13

评论数 0

kafka转载

Kafka史上最详细原理总结 Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统...

2018-12-06 13:06:30

阅读数 20

评论数 0

join优化

join 优化(疑问1的效率为什么比2高:1用时115s,2用时170s) 一般来说join优化有三种方法1,mapjoin;2小表join大表;3join非驱动表添加索引 优化使用了mapjoin,小表join大表(给join表添加索引没有使用) 1 WITH ins AS ( SELECT i...

2018-11-29 19:33:57

阅读数 20

评论数 0

sql截取字符串

SQL截取字段字符串的方法 set @str=‘WX15-53-H-53-99-15-335-23’; select @str as ‘字符串’ select len(@str) as ‘字符长度’ select charindex(’-’,@str,1) as ‘第一个逗号的索引值’ selec...

2018-11-22 12:58:53

阅读数 15

评论数 0

sql的with as

一直以来很少在SQL中使用过with as 的用法,现在打算记录这条语句的使用方法。 WITH AS短语,也叫做子查询部分(subquery factoring),是用来定义一个SQL片断,该SQL片断会被整个SQL语句所用到。这个语句算是公用表表达式(CTE)。 比如 with A as (...

2018-11-21 13:14:13

阅读数 24

评论数 0

yarn学习

1)作业提交 client调用job.waitForCompletion方法,向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件...

2018-09-04 20:19:10

阅读数 16

评论数 0

SparkSQL总体流程介绍

SparkSQL总体流程介绍 在阐述Join实现之前,我们首先简单介绍SparkSQL的总体流程,一般地,我们有两种方式使用SparkSQL,一种是直接写sql语句,这个需要有元数据库支持,例如Hive等,另一种是通过Dataset/DataFrame编写Spark应用程序。如下图所示,sql语...

2018-09-03 19:38:16

阅读数 68

评论数 0

spark调优

1、Spark调优背景 目前Zeppelin已经上线一段时间,Spark作为底层SQL执行引擎,需要进行整体性能调优,来提高SQL查询效率。本文主要给出调优的结论,因为涉及参数很多,故没有很细粒度调优,但整体调优方向是可以得出的。 环境:服务器600+,spark 2.0.2,Hadoop 2...

2018-09-03 19:19:35

阅读数 22

评论数 0

大数据学习-用户画像

一、 什么是用户画像 用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签,而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户,可以让人更容易理解用户,并且可以方便计算机...

2018-09-03 12:30:01

阅读数 453

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭