自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

SQL实现MYSQL到HIVE建表语句的转换(异构数据源DDL转换)

准备一张维度表:dim_ddl_convert,建表语句如下: CREATE TABLE dim_ddl_convert ( source VARCHAR(100) NOT NULL, data_type1 VARCHAR(100) NOT NU...

2019-08-29 10:08:55

阅读数 37

评论数 1

dataX 在Linux的安装部署与测试方案

环境准备 Hadoop2.7.3 Hive1.2.1 JDK1.8 Python2.7 centOS系统默认自带 Mysql5.7 dataX3.0 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.ta...

2019-08-24 18:46:09

阅读数 20

评论数 0

HIVE日期函数总结

select day -- 时间 ,date_add(day,1 - dayofwe...

2019-09-10 20:50:03

阅读数 29

评论数 0

SKU与SPU概念

SPU = Standard Product Unit (标准产品单位) SPU 是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息的集合,该集合描述 了一个产品的特性。 通俗点讲,属性值、特性相同的商品就可以称为一个 SPU。 例如:iphone7 就是一个 SPU,与商家,与颜色、款式...

2019-09-08 23:04:34

阅读数 7

评论数 0

电商基本术语B2B C2C B2C C2B O2O F2C B2B2C

B2B--企业对企业:案例:阿里巴巴、慧聪网 C2C--个人对个人:案例:淘宝、易趣、瓜子二手车 B2C--企业对个人:案例:唯品会、乐蜂网 C2B--个人对企业:案例:海尔商城、尚品宅配 O2O--线上到线下:案例:美团、饿了吗 F2C--工厂到个人:从厂商到消费者的电子商务模式 B...

2019-09-08 23:01:26

阅读数 10

评论数 0

django模型中auto_now与auto_now_add的区别

auto_now auto_now无论是你添加还是修改对象,时间为你添加或者修改的时间,一般用作更新时间。 auto_now_add auto_now_add为添加时的时间,更新对象时不会有变动,一般用作创建时间。 具体案例: class BaseModel(models.Model)...

2019-09-08 22:49:33

阅读数 6

评论数 0

ODPS之合并与拆分-Lateral View

Lateral View 更新时间:2019-02-13 11:56:02 编辑··我的收藏 本页目录 单个Lateral View语句 多个Lateral View语句 Lateral View和split,explode等UDTF一起使用,它能够将一行数据拆成多行数据,并在此基础上对...

2019-09-06 14:23:05

阅读数 6

评论数 0

ubuntu 卸载python3.5

1.卸载python3.5 sudo apt-get remove python3.5 2.卸载python3.5以及它的依赖包 sudo apt-get remove --auto-remove python3.5 3.清除python3.5 要想清除python3.5的配置文...

2019-09-06 14:18:17

阅读数 6

评论数 0

最简单的大数据平台架构

2019-09-06 14:08:41

阅读数 15

评论数 0

Hive留存计算

准备表 CREATE EXTERNAL TABLE ods_app_log ( sdk_ver string ,time_zone string ,commit_id string ,commit_time string ,pid string ...

2019-09-06 14:06:59

阅读数 11

评论数 0

Sqoop实战案例总结

安装注意事项 #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/app/bigdata/hadoop #Set path to where hadoop-*-core.jar is available ...

2019-09-06 14:03:25

阅读数 23

评论数 0

Hive之UDF实现

Java实现UDF函数 一、实现字符串到数字的转换 package com.easyrong.data.function; import org.apache.hadoop.hive.ql.exec.UDF; public class NumberToChar extends UDF{...

2019-09-06 13:59:16

阅读数 12

评论数 0

Python封装mysql操作方法

class DBTool(object): conn = None cursor = None def __init__(self, conn_dict): self.conn = pymysql.connect(host=source['host'], ...

2019-09-05 15:01:39

阅读数 3

评论数 0

Shell实现Hive表结构全备份

登录hive服务器,新建一个shell脚本,内容如下 #!/bin/bash #原样输出一段文字可以用CAT cat<<EOF **************************************************** 功能 :实现Hive表...

2019-09-05 14:56:02

阅读数 7

评论数 0

Hive-ORC文件存储格式

Hive-ORC文件存储格式 转自:http://www.lai18.com/content/24596525.html?from=cancel ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档,以及基于官方文档的翻译内容这里就不赘述了,有兴趣的可以仔细研究了解一下...

2019-09-04 19:14:59

阅读数 6

评论数 0

排序算法整合(冒泡,快速,希尔,拓扑,归并)

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/onceing/article/details/99838520 冒泡排序介绍 冒泡排序(Bubble Sort),又被称为气泡排序...

2019-08-29 14:28:03

阅读数 34

评论数 0

gitee码云git快捷入门

开源中国git,13661892653/jk**ac,https://gitee.com/profile/sshkeys 1、初始化git目录,新建目录test chenlun@kf-0531 MINGW32 /e/project/test $ git init Initialized empt...

2019-08-29 13:56:32

阅读数 7

评论数 0

Linux搭建SVN服务器详细指南

1安装SVN # yum install subversion: 1.新建一个目录用于存储SVN所有文件 1. #mkdir/svn 2.新建一个资源仓库 1. #svnadmincreate/svn/edwh 2. #ls/svn/edwh/ 3. confdbform...

2019-08-29 13:51:23

阅读数 7

评论数 0

Kettle在Linux周期调度的实现

Kettle作业调度引擎:kitchen.sh 一、JOB调度shell脚本 #!/bin/bash cat<<EOFSHELL ***************************************************** Function :xxx...

2019-08-29 13:42:35

阅读数 5

评论数 0

DB2中NULL,COUNT,NOT IN,NOT EXISTS的区别

TB1_1 TB1_2 下列执行结果分别为: SELECTCOUNT(COL_1)FROMTB1_1 SELECTCOUNT(DISTINCTCOL_1)FROMTB1_1 SELECT AVG(COL_1) FROM TB1_1 SELECTCOL_1FROMTB...

2019-08-29 11:11:42

阅读数 13

评论数 0

提示
确定要删除当前文章?
取消 删除