![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据工程师
The Great Bear
这个作者很懒,什么都没留下…
展开
-
SAP HANA中日期格式转换
集团数仓要求的日期格式为:STRING yyyyMMddhhssmm例如:20200924175407SAP HANA中日期格式为:TIMESTAMP yyyy-MM-dd hh:ss:mm例如:SELECT CURRENT_TIMESTAMP FROM DUMMY ; 2020-09-24 17:55:33获取日期和时间SELECT TO_DATE(CURRENT_TIMESTAMP) AS DATE , TO_TIME(CURRENT_TIMESTAMP) AS TIME原创 2020-09-24 18:27:21 · 9526 阅读 · 2 评论 -
Kettle处理Sap Hana有关字段类型LONGBLOB问题
在使用kettle处理sap Hana内存数据库的时候,遇到一个字段Bug问题。使用VPN连接Hana之后,选择ACDOCA表,该表总共有424个字段。选择预览(P),先查看数据:报了一个错误,导致预览不了数据,原因是:Cannot convert SQL type VARBINARY to Java typy java sql.Blob。说的是不能把SQL的二进制类型(VARBINARY)转换成Java类型的Blob。可能原因是我们把sap Hana的ngdbc-2.4.76.jar包拷贝到k原创 2020-07-02 10:58:03 · 1246 阅读 · 0 评论 -
漫画:什么是中台?
<link href="https://csdnimg.cn/public/favicon.ico" rel="SHORTCUT ICON"><title>漫画:什么是中台?_CSDN资讯-CSDN博客</title>...原创 2020-02-24 23:25:56 · 419 阅读 · 0 评论 -
hue入门安装教程
1 简介HUE=Hadoop User Experience(Hadoop用户体验),直白来说就一个开源的Apache Hadoop UI系统,由ClouderaDesktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理...原创 2019-12-19 22:25:20 · 742 阅读 · 0 评论 -
数仓学习之路一
一、数据仓库的起源数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库之父比尔∙恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定...原创 2019-12-17 09:18:19 · 1394 阅读 · 0 评论 -
Hive行列互转
1 多行转多列数据:张三 语文 90张三 数学 85张三 英语 92李四 语文 75李四 数学 90李四 英语 80王五 语文 95王五 数学 100王五 英语 98建表:create table stu(name string,subject string,score int)row format delimitedfields terminated...原创 2019-12-07 18:11:57 · 283 阅读 · 0 评论 -
大数据之Oozie学习之路四
目标:Coordinator周期性调度任务1 拷贝官方模板配置定时任务[root@cdh003 oozie]# cp -r examples/apps/cron/ oozie_apps/2 修改js框架中的时间设置代码[root@cdh003 oozie]# vim oozie-server/webapps/oozie/oozie-console.jsfunction getTimeZ...原创 2019-12-07 10:14:12 · 136 阅读 · 0 评论 -
大数据之Oozie学习之路三
目标:使用Oozie执行多个Job调度1 编写脚本[root@cdh003 oozie]# vim oozie-apps/shell/demo02.sh#!/bin/bash/sbin/ip addr > /opt/app/demo02.log2 修改job.properties和workflow.xml文件job.propertiesnameNode=hdfs://c...原创 2019-12-07 01:17:49 · 85 阅读 · 0 评论 -
大数据之Oozie学习之路二
**本节我们练习使用Oozie调度shell脚本**1 解压官方案例模板[root@cdh003 oozie]# tar -zxvf oozie-examples.tar.gz2 创建工作目录[root@cdh003 oozie]# mkdir oozie-apps3 拷贝任务模板到oozie-apps目录[root@cdh003 oozie]# cp -r example...原创 2019-12-06 21:54:40 · 91 阅读 · 0 评论 -
大数据之Oozie学习之路一
一、Oozie简介Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。二、Oozie的功能模块介绍2.1 模块(1) Workflow顺序执行流程节点,支...原创 2019-12-06 02:09:26 · 250 阅读 · 0 评论 -
数仓案例
数仓入门级搭建训练项目,根据实际生产场景模拟,表比较少。适合想从事大数据工程师、数仓工程师、ETL工程师入门训练。该项目简单容易上手,建议一个下午+一个晚上完成。原创 2019-12-05 20:39:53 · 2103 阅读 · 0 评论