- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 SQL最佳实践-开窗函数
windowset hive.mapred.mode=nonstrict;set mapred.reduce.tasks=4;-- SORT_QUERY_RESULTS-- 1. testWindowingselect p_mfgr, p_name, p_size,rank() over(distribute by p_mfgr sort by p_name) as r,dense_rank() over(distribute by p_mfgr sort by p_name) as dr,
2021-05-23 10:50:43
362
1
原创 ETL最佳实践-NiFi
NIFI 介绍概述Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一NiFi基于Web方式工作，后台在服务器上进行调度。用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、
2021-05-22 11:59:05
2884
3
原创 计算机基础-数据结构（c语言版）
目录概述数据的存储结构☆☆第三节 算法及描述第四节 算法分析☆☆线性表第一节 线性表的基本概念第二节 线性表的顺序存储第三节 线性表的链接存储第四节 其他链表第三章 队列和数组第一节 栈第二节 队列第三节 数组第四章 树和二叉树第二节 二叉树第三节 二叉树的存储结构第四节 二叉树的遍历☆☆☆☆第五节 树和森林第六节 判定树和哈夫曼树第五章 图第一节 图的基本概念第二节 图的存储结构第三节 图的遍历☆☆第四节 图的应用第六章 查找第一节 基本概念☆☆第二节 静态查找表第三节 二叉排序树第四节 散列表☆第七章
2021-05-20 22:32:41
827
原创 计算机基础-数据结构
树二叉树叶子节点都在最后一层 节点总是是2N次方-1 n层数完全二叉树完全二叉树 叶子节点在最后一层或倒数第二层最后一层的叶子节点在左边连续倒数第二层的叶子节点在右边连续连续 不连续只考虑完全二叉树第n个元素的左子节点下标为2n+1第n个元素的右子节点下标为2n+2第n个元素的父节点下标为(n-1)/2n表示二叉树的第几个元素 按0开始编号顺序存储二叉树数组存储方式和数的存储方式 相互转换数组可以转换成树 树可以转换成数组要求：1)二叉树右图的数据节点 要求以数组的方式存放
2021-05-19 11:01:05
451
1
原创 ETL常用工具类
字符相关public class CharsetUtils { private enum Charset { /** * 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */ US_ASCII("US-ASCII", "位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 "), ISO_8859_1("ISO-8859-1", "ISO 拉丁字母表 No.1
2021-05-16 09:53:09
302
原创 java多线程-保持顺序性
ThreadOrderTestpublic class ThreadOrderTest { public static void main(String[] args) {// String s = getKey();// Optional.ofNullable(s).orElse("").length();// List<String> list = getList();// Optional.ofNullable(
2021-05-16 09:40:30
612
原创 神奇的scala操作
循环操作def factorial(n: Int): Long = { @tailrec def factorial(main: Int, aggr: Int): Long = { if (main <= 0) aggr else factorial(main - 1, main * aggr) } factorial(n, 1) } def fibonacciFor(n: Int): Int = { var curren
2021-05-16 09:35:50
112
原创 大数据最佳实践-scala常用工具类
PhoenixJdbcUtilsobject PhoenixJdbcUtils extends Serializable { private type JDBCValueSetter = (PreparedStatement, Row, Int) => Unit private val logger = LoggerFactory.getLogger("") def saveTable(df: DataFrame, table: String, batchSize: Int) {
2021-05-15 22:57:24
392
1
原创 大数据最佳实践-Kylin
目录Kylin 定义Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay Inc 开发并贡献至开源社区。它能在亚秒内查询巨大的 Hive 表。1）REST ServerREST Server 是一套面向应用程序开发的入口点，旨在实现针对 Kylin 平台的应用开发工作。 此类应用程序可以提供查询、获取结果、触发 cube 构建任务、获取元数据以及获取用户权限等等。另外可以
2021-05-14 20:26:48
479
原创 nginx-作为文件服务器配置
nginx 文件服务器vim nginx.conf#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}http { include
2021-05-09 21:51:13
193
原创 linux-crontab命令
1、查看crontab定时执行任务列表crontab -l2、编辑crontab定时执行任务crontab -e3、删除crontab定时任务crontab -r4、相关命令：sudo service crond start #启动服务sudo service crond stop #关闭服务sudo service crond restart #重启服务sudo service crond reload #重新载入配置sudo service crond
2021-05-09 21:49:30
481
原创 docker-常用操作
docker -vdocker engine{registry-mirrors: [http://hub-mirror.c.163.com/,https://registry.docker-cn.com],insecure-registries:[],experimental: false,debug: true}vue create docker-demoyarn serveyarn buildcd docker-demo && touch Dockerfile
2021-05-09 21:47:15
102
原创 maven-常用仓库配置
Maven提供了一个中央仓库，其地址为：http://repo.maven.apache.org/maven2 ，该仓库包含了绝大多数流行的开源Java构件，以及源码、作者信息、SCM、信息、许可证信息等。据统计，每个月中央仓库大概会接受全世界Java程序员大概1亿次访问，其重要性不言而喻。 <repositories> <repository> <id>jboss</id> <
2021-05-09 21:44:50
297
原创 国内常用镜像地址大全
https://mirrors.cloud.tencent.com/http://archive.apache.org/dist/https://mirrors.bfsu.edu.cn/https://mirrors.bfsu.edu.cn/apache/https://developer.aliyun.com/mirror/https://mirrors.tuna.tsinghua.edu.cn/http://mirrors.ustc.edu.cn/http://mirrors.163.co
2021-05-09 21:39:20
4682
2
翻译 java最佳实践-lambda 函数式接口
概念函数式接口，当然首先是一个接口，然后就是在这个接口里面只能有一个抽象方法。这种类型的接口也称为SAM接口，即Single Abstract Method interfaces。它们主要用在Lambda表达式和方法引用（实际上也可认为是Lambda表达式）上。@FunctionalInterface用于指示接口类型声明的翔实注释类型旨在成为 Java 语言规范定义的函数接口。从概念上讲，一个功能接口正好有一个抽象的方法。由于默认方法具有实现，它们不是抽象的。如果接口声明一个抽象的方法压倒了其中一
2021-05-08 12:23:00
236
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人