- 博客(30)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Hive行列互转
1 多行转多列数据：张三 语文 90张三 数学 85张三 英语 92李四 语文 75李四 数学 90李四 英语 80王五 语文 95王五 数学 100王五 英语 98建表：create table stu(name string,subject string,score int)row format delimitedfields terminated...
2019-12-07 18:11:57
287
原创 数仓案例
数仓入门级搭建训练项目，根据实际生产场景模拟，表比较少。适合想从事大数据工程师、数仓工程师、ETL工程师入门训练。该项目简单容易上手，建议一个下午+一个晚上完成。
2019-12-05 20:39:53
2107
原创 Python time模块详解
下面是一些术语和惯例的解释.术语 Unix 纪元秒数 是指自国际标准时间 1970 年 1 月 1 日零时以来经过的总秒数，通常不包括 闰秒。 在所有符合 POSIX 标准的平台上，闰秒都会从总秒数中被扣除。UTC是协调世界时（以前称为格林威治标准时间Greenwich Mean Time，或GMT）。缩写UTC不是错误，而是英语和法语之间的妥协。DST是夏令时，在一年中的一部分时间（通常）调整时区一小时。 DST规则很神奇（由当地法律确定），并且每年都会发生变化。 C 库有一个包含本地规则的表（通常
2021-08-21 16:58:45
285
原创 Oracle中导出TA组织架构
公司层级和层级关系表：AZIENDA_GERARCHIA查看数据：SELECT * FROM AZIENDA_GERARCHIA WHERE COD_AZIENDA_GERARCHIA='E01';结果：其中，COD_AZIENDA_ELEGER表示该层级，COD_AZIENDA_ELEGER_PADRE表示该层级的直接上一级（直接父级）。通过SQL来实现：SELECT T.CAG , T.A11 , CASE WHEN T.A11='1CG000' THEN
2020-09-28 16:59:56
281
原创 SAP HANA中日期格式转换
集团数仓要求的日期格式为：STRING yyyyMMddhhssmm例如：20200924175407SAP HANA中日期格式为：TIMESTAMP yyyy-MM-dd hh:ss:mm例如：SELECT CURRENT_TIMESTAMP FROM DUMMY ; 2020-09-24 17:55:33获取日期和时间SELECT TO_DATE(CURRENT_TIMESTAMP) AS DATE , TO_TIME(CURRENT_TIMESTAMP) AS TIME
2020-09-24 18:27:21
9602
2
原创 Hive中各种join对比案例分析
SQL语句执行顺序很多SQL的优化可以根据SQL语句的执行顺序来处理。创建表和插入数据将创建表和插入数据写到一个join.sql SQL文件中-- 使用db2数据库use db2;-- 如果存在，则删除表drop table if exists stu;drop table if exists score;-- 创建stu表create table if not exists stu(id int,name string)row format delimited fields
2020-09-07 15:32:22
256
原创 MySQL备份每个数据库表中100条数据
如果是本地备份，不需要用户名、密码：mysqldump --all-databases --where "1=1 limit 100" --lock-all-tables > g:/backup100.sql如果是远程备份，需要主机名、用户名和密码（还需要用户有reload权限）：mysqldump -ugoodera -p1234 -10.150.x.x --all-databases --where "1=1 limit 100" --lock-all-tables > g:/bac
2020-08-05 15:49:51
516
原创 Kettle处理Sap Hana有关字段类型LONGBLOB问题
在使用kettle处理sap Hana内存数据库的时候，遇到一个字段Bug问题。使用VPN连接Hana之后，选择ACDOCA表，该表总共有424个字段。选择预览（P），先查看数据：报了一个错误，导致预览不了数据，原因是：Cannot convert SQL type VARBINARY to Java typy java sql.Blob。说的是不能把SQL的二进制类型（VARBINARY）转换成Java类型的Blob。可能原因是我们把sap Hana的ngdbc-2.4.76.jar包拷贝到k
2020-07-02 10:58:03
1252
原创 MySQL
MySQLselect version();select user();show engines[\G or \g];explain/desc table_name;show character set [like ‘utf%’];show collation [like ‘utf%’];show create database db_name;show create table tb_namealter database db_name character set ‘utf8mb’;a
2020-06-23 16:20:11
159
原创 vivo笔试Hive
现有表 vivo 格式如下左图所示：params 为 map 类型数据，请将 params 解析为右图所示格式：创建表vivocreate table if not exists vivo(name string,params map<string,int>)row format delimitedfields terminated by '\t'collection items terminated by '&'map keys terminated by ':'
2020-05-22 15:57:49
171
原创 漫画：什么是中台？
<link href="https://csdnimg.cn/public/favicon.ico" rel="SHORTCUT ICON"><title>漫画：什么是中台？_CSDN资讯-CSDN博客</title>...
2020-02-24 23:25:56
419
原创 HiveQL基础必修50题（含答案）
数据：student.csv01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风 1990-05-20 男04 李云 1990-08-06 男05 周梅 1991-12-01 女06 吴兰 1992-03-01 女07 郑竹 1989-07-01 女08 王菊 1990-01-20 女course.csv01 语文 0202 数学 0103...
2020-01-03 18:03:08
318
原创 Scala学习笔记
1scala的任何object都能调用 -> 方法，并返回包含键值对的二元组任何object都能调用 -> 的机制被称为隐式转换val normalMap = scala.collection.mutable.Map(1 -> “goodera”,2 -> “lin”)normalMap.+= (3 -> “love”)normalMap += (4 -&g...
2019-12-30 08:51:55
113
原创 Scala学习之路六
Scala函数式编程Java（在JDK1.8之前）是完全面向对象的编程语言，没有任何面向过程编程语言的特性，因此在Java中，一等公民是类和对象，而且只有方法的概念。Java中的方法是绝对不可能脱离类和对象独立存在的。而Scala是一门既面向对象，又面向函数式编程的语言。因此在Scala中有非常好的面向对象的特性；而且Scala也面向过程，因此Scala中有函数的概念。在Scala中，函数与类...
2019-12-24 18:52:42
129
原创 Scala学习之路五
Scala中的类1 类的基本操作1.1 类的定义类或者类型，就是对客观的一类事物的抽象。用一个class关键字来描述，在这个类中可以拥有这一类事物的属性，行为等等。 或者说就是用计算机的语言来描述的一类事物，就是类，在java,scala中都是用关键字class来标识。 因为类是对一类事物的抽象，所以不具备具体的行为执行能力，要想完成具体的操作，就需要使用该类的实例或者对象。//创...
2019-12-24 18:51:09
197
原创 Scala学习之路四
Scala数组和集合scala的集合分为了两类，一类是可变的集合（集合可以执行增删改查操作），另一类是不可变集合（集合元素在初始化的时候确定，后续只能进行查，有的可以进行修改，有的不可以）。二者可能名称一样，但是在不同的包下面，对应的包为：scala.collection.mutable和scala.collection.immutable。 scala默认使用的集合，或者默认导入的包是im...
2019-12-23 15:05:41
177
原创 Scala学习之路三
scala的函数1 函数的定义Scala除了方法外还支持函数。方法对对象进行操作，函数不是。要定义函数，你需要给出函数的名称、参数和函数体，就像这样：说明：必须给出所有参数的类型。不过，只要函数不是递归的，就不需要指定返回类型。Scala编译器可以通过 = 符号右侧的表达式的类型推断出返回类型。“=”并不只是用来分割函数签名和函数体的，它的另一个作用是告诉编译器是否对函数的返回值进行...
2019-12-23 15:00:30
93
原创 Scala学习之路二
1 scala语言特点可拓展面向对象函数式编程兼容JAVA类库调用互操作语法简洁代码行短类型推断抽象控制静态类型化可检验安全重构支持并发控制强计算能力自定义其他控制结构2 scala与Java关系1、都是基于JVM虚拟机运行的Scala编译之后的文件也是.class，都要转换为字节码，然后运行在JVM虚拟机之上。2、Scala和Java相...
2019-12-23 14:59:16
411
原创 hue整合MySQL/HDFS/Yarn/Hive/Zookeeper/HBase/OOZIE
4 整合mysql4.1 vi desktop/conf/hue.ini1231行。 mysql, oracle, or postgresql configuration. [[[mysql]]] # Name to show in the UI. nice_name="MySQL" # For MySQL and PostgreSQL, na...
2019-12-19 22:32:51
201
原创 hue入门安装教程
1 简介HUE=Hadoop User Experience(Hadoop用户体验)，直白来说就一个开源的Apache Hadoop UI系统，由ClouderaDesktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理...
2019-12-19 22:25:20
747
原创 数仓学习之路二
数据仓库的分层数据仓库的特征在于面向主题、集成性、稳定性和时变性，用于支持管理决策。数据仓库的存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供统一的、规范的数据出口。数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。数仓分层的主要原因：1通过数据预处理提高效率，因为预处理，所以会存在冗余数据2如果不分层而业务系统的业务规则发生变化，就会影响整个数据...
2019-12-17 15:31:11
990
原创 数仓学习之路一
一、数据仓库的起源数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库之父比尔∙恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定...
2019-12-17 09:18:19
1405
原创 解决Linux /bin/bash^M: bad interpreter: No such file or directory
今天在执行shell脚本的时候遇到一个问题，直入主题：首先我用Nodepad++编写一个简单的shell脚本(测试用)：hk.sh#!/bin/bashecho 'hello Kitty'然后上传到Linux运行：没有执行权限，先修改权限：[root@cdh001 ~]# chmod 750 hk.sh执行：[root@cdh001 ~]# ./hk.sh-bash: ...
2019-12-16 14:41:05
816
原创 java面试总结一
1 什么是构造函数、构造代码块、静态代码块？分别的作用是什么？三者执行顺序？1 构造函数：构造函数是一种特殊的函数。其主要功能是用来在创建对象时初始化对象， 即为对象成员变量赋初始值，总与new运算符一起使用在创建对象的语句中。构造函数与类名相同，可重载多个不同的构造函数。注：1.构造函数的命名必须和类名完全相同。在java中普通函数可以和构造函数同名，但是必须带有返回值；2.构造函数...
2019-12-16 09:09:23
95
原创 大数据之Oozie学习之路四
目标：Coordinator周期性调度任务1 拷贝官方模板配置定时任务[root@cdh003 oozie]# cp -r examples/apps/cron/ oozie_apps/2 修改js框架中的时间设置代码[root@cdh003 oozie]# vim oozie-server/webapps/oozie/oozie-console.jsfunction getTimeZ...
2019-12-07 10:14:12
136
原创 大数据之Oozie学习之路三
目标：使用Oozie执行多个Job调度1 编写脚本[root@cdh003 oozie]# vim oozie-apps/shell/demo02.sh#!/bin/bash/sbin/ip addr > /opt/app/demo02.log2 修改job.properties和workflow.xml文件job.propertiesnameNode=hdfs://c...
2019-12-07 01:17:49
85
原创 大数据之Oozie学习之路二
**本节我们练习使用Oozie调度shell脚本**1 解压官方案例模板[root@cdh003 oozie]# tar -zxvf oozie-examples.tar.gz2 创建工作目录[root@cdh003 oozie]# mkdir oozie-apps3 拷贝任务模板到oozie-apps目录[root@cdh003 oozie]# cp -r example...
2019-12-06 21:54:40
93
原创 大数据之Oozie学习之路一
一、Oozie简介Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。二、Oozie的功能模块介绍2.1 模块(1) Workflow顺序执行流程节点，支...
2019-12-06 02:09:26
251
原创 hadoop搭建服务器
1. nginx负载均衡反向代理2. 日志的采集[ ][ ] List itemflume采集nginx的日志文件3. javaweb三层结构今日任务`` ~~`~~~~1. 数据仓库的构建~~~ ~ ods--》dw层--》dm层~~ 2. 写sdk：httpclient（apache提工的一套api（common））3. etl ： 数据清洗19...
2019-12-05 01:05:26
237
install_redis_v2.txt
2020-02-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人