hive的知识补充-----hive类型的显示转换cast

Hive的类型层次中,可以根据需要进行隐式的类型转换,例如TINYINT与INT相加,则会将TINYINT转化成INT然后INT做加法。隐式转换的规则大致可以归纳如下:任意数值类型都可以转换成更宽的数据类型(不会导致精度丢失)或者文本类型。所有的文本类型都可以隐式地转换成另一种文本类型。也可以被转...

2018-06-20 23:23:39

阅读数 14899

评论数 0

hive应用知识补充----时间处理函数

1.日期函数 to_date(string expr)返回类型:string描述:返回时间字符串日期部分to_date(expr) - Extracts the date part of the date or datetime expression expr实例:hive>...

2018-06-20 23:17:25

阅读数 178

评论数 0

GitHub添加配置SSH图文详细简单教程

GitHub是一个面向开源及私有软件项目的托管平台,因为只支持git 作为唯一的版本库格式进行托管,故名GitHub。一般来说,clone项目有两种方式:Https和SSH,两者的区别这里不作介绍,本文主要讲解如何添加SSH。1.首先我们要生成一个新的SSH密钥,打开终端并输入下面命令并回车:  ...

2018-06-20 21:32:27

阅读数 94

评论数 0

MyEclipse上传项目到github(详细)

提交项目本文参考:点击打开链接第一步:在github上注册一个账号:点击打开链接第二步:登陆github并创建一个仓库a.点击右上角‘’+‘’号,开始创建一个新的仓库b.给仓库起个名字,设置权限为公共的,点击创建c.获取仓库的URL第三步:在MyEclipse中右击项目-------&am...

2018-06-20 21:04:19

阅读数 1006

评论数 0

SQL的内连接和外连接

内连接外连接交叉连接 PDF下载地址:SQL-内连接与外连接.pdf连接查询在关系型数据库中经常用到,是多表联合查询的基础。 主要包含:内连接,外连接,交叉连接。 SQL - 内连接与外连接内连接等值连接不等值连接自然连接外连接左连接右连接全连接交叉连接内连接内连接又分为等值连接,不等值连接,自然...

2018-06-20 00:07:34

阅读数 454

评论数 0

linux应用之crontab定时任务的设置(补充说明)

linux应用之crontab定时任务的设置实现Linux定时任务有:cron、anacron、at等,这里主要介绍cron服务。名词解释:   cron是服务名称,crond是后台进程,crontab则是定制好的计划任务表。软件包安装:要使用cron服务,先要安装vixie-cron软件包和cr...

2018-06-19 22:42:40

阅读数 44

评论数 0

linux应用之crontab定时任务的设置 (简单操作)

前述:linux应用之crontab定时任务的设置实现Linux定时任务有:cron、anacron、at等,这里主要介绍cron服务。名词解释:   cron是服务名称,crond是后台进程,crontab则是定制好的计划任务表。1、  crontab命令概念 crontab命令用于设置周期性被...

2018-06-19 22:41:30

阅读数 297

评论数 0

MySQL与Oracle的数据类型对照表

MySQL与Oracle两种数据库在工作中,都是用的比较多的数据库,由于MySQL与Oracle在数据类型上有部分差异,在我们迁移数据库时,会遇上一定的麻烦,下面介绍MySQL与Oracle数据库数据类型的对应关系。一、常见数据类型在MySQL与Oracle数据库中的表现形式说明mysqlorac...

2018-06-19 21:23:16

阅读数 4995

评论数 3

Hive支持原始数据类型和复杂类型

Hive支持原始数据类型和复杂类型,原始类型包括数值型,Boolean,字符串,时间戳。复杂类型包括array,map,struct,union。一,原始数据类型类型名称大小示例TINYINT1字节整数45YSMALLINT2字节整数12SINT4字节整数10BIGINT8字节整数244LFLOA...

2018-06-19 21:19:10

阅读数 1561

评论数 0

SQL常用函数--待补充

--==================================--SQL 基础-->常用函数--==================================/*一、函数的分类    SQL函数一般分为两种    单行函数 基于单行的处理,一行产生一个结果  ...

2018-06-13 10:09:37

阅读数 642

评论数 0

kafka直连的代码和解释(还有几个类没有搞明白)

  1 .KafkaUtils.createDirectStream[ 这四个泛型:k就是topic,v就是topic对应的内容从kafkKd (解码器)vd(解码器)]   这个方法是在各个分区没有偏移量时的用的。后面的参数是(ssc,kafkaparam,topics)是怎么回事,尤其是kaf...

2018-06-12 10:47:32

阅读数 1042

评论数 0

大数据采集,运算,存储的一系列软件

2018-06-11 21:39:30

阅读数 475

评论数 0

DataFrame 创建方式和操作(Spark 中的核心知识,用来计算结构化数据)

一、 scala版本1.1:用javabean类型的rdd创建         val sparkConf = new SparkConf().setMaster("local").setAppName("adaa")    ...

2018-06-11 21:38:57

阅读数 331

评论数 0

jdbc使用说明

JDBC 使用说明分类 编程技术JDBC API 允许用户访问任何形式的表格数据,尤其是存储在关系数据库中的数据。执行流程:连接数据源,如:数据库。为数据库传递查询和更新指令。处理数据库响应并返回的结果。JDBC 架构分为双层架构和三层架构。双层作用:此架构中,Java Applet 或应用直接访...

2018-06-11 17:24:26

阅读数 190

评论数 0

JDBC之 连接池

JDBC之 连接池 有这样的一种现象:用java代码操作数据库,需要数据库连接对象,一个用户至少要用到一个连接。现在假设有成千上百万个用户,就要创建十分巨大数量的连接对象,这会使数据库承受极大的压力,为了解决这种现象,一种技术出现了,这就是数据库连接池。 什么是数据库连接池(原理)所谓数据库连接池...

2018-06-11 17:18:48

阅读数 69

评论数 0

spark调优之基础篇--算子调优和资源调优

前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学...

2018-06-10 15:42:24

阅读数 398

评论数 1

spark性能优化指南---数据倾斜和shuffle调优

前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性...

2018-06-10 11:52:15

阅读数 98

评论数 0

Hive和SQL的窗口函数

分析窗口函数应用场景:(1.2重要,其他的了解就行)(1)用于分区排序(2)动态Group By(3)Top N(4)累计计算(5)层次查询Hive分析窗口函数(一) SUM,AVG,MIN,MAXHive中提供了越来越多的分析函数,用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍,将陆续...

2018-05-30 11:42:20

阅读数 500

评论数 0

Scala中Json解析String,获得多级key

代码块导入包import scala.util.parsing.json._def main(args: Array[String]): Unit = { def regJson(json:Option[Any]) = json match { case Some(map: ...

2018-05-29 21:47:09

阅读数 1509

评论数 0

SparkSQL中UDF和UDAF

UDF: User Defined Function,用户自定义的函数,函数的输入是一条具体的数据记录,实现上讲就是普通的Scala函数;UDAF:User Defined Aggregation Function,用户自定义的聚合函数,函数本身作用于数据集合,能够在聚合操作的基础上进行自定义操作...

2018-05-29 19:43:00

阅读数 78

评论数 0

提示
确定要删除当前文章?
取消 删除