For_dongyang的专栏

1、数仓构建1. 前期业务调研，如需求调研、数据调研、技术调研2. 提炼业务模型、总线矩阵、划分主题域3.定制规范，如命名规范、开发规范、流程规范4.数仓架构分层以阿里巴巴OneData建设为例：一般分为操作数据层（ODS：Operational Data Store）、公共维度模型层（CDM）和应用数据层（ADS）。其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）。公共维度模型层（CDM）：存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维...

一、问题描述Yarn默认调度器为CapacityScheduler（容量调度器），且默认只有一个队列——default。如果队列中执行第一个任务资源不够，就不会再执行第二个任务，一直等到第一个任务执行完毕。（1）创建一张测试表create table student(id int, name string);（2）启动1个hive客户端，执行以下插入数据的sql语句insert into table student values(1,'abc');执行该语句，hive会初始化..

桔妹导读：在滴滴SQL任务从Hive迁移到Spark后，Spark SQL任务占比提升至85%，任务运行时间节省40%，运行任务需要的计算资源节省21%，内存资源节省49%。在迁移过程中我们沉淀出一套迁移流程， 并且发现并解决了两个引擎在语法，UDF，性能和功能方面的差异。1.迁移背景 Spark自从2010年面世，到2020年已经经过十年的发展，现在已经发展为大数据批计算的首选引擎，在滴滴Spark是在2015年便开始落地使用，不过主要使用的场景是更多在数据挖掘和机器学习方向...

1．相关函数说明OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化。重点解释下OVER()函数，OVER()函数中包括三个函数：包括分区partition by 列名、排序order by 列名、指定窗口范围rows between开始位置and结束位置。我们在使用over()窗口函数时，over()函数中的这三个函数可组合使用也可以不使用。over()函数中如果不使用这三个函数，窗口大小是针对查询产生的所有数据，如果指定了分区，窗口大小是针对每个分区的数据

Hive问题之执行sql的mapreduce时卡在Kill Command1、首先遇到问题先查日志，我的hadoop采用yarn进行资源管理调度，需要查看日志yarn-hadoop-resourcemanager-hadoop.log2、唯一的一个node节点出现不健康状态的日志3、执行命令确认 yarn node -list all，确实有不健康的节点4、原因：NodeManager默认会每两分钟检查本地磁盘（local-dirs），找出那些目录可以使用。注意如果判定这个磁盘不可用，则在重

按照了解的很多PHP/LNMP程序员的发展轨迹，结合个人经验体会，抽象出很多程序员对未来的迷漫，特别对技术学习的盲目和慌乱，简单梳理了这个每个阶段PHP程序员的技术要求，来帮助很多PHP程序做对照设定学习成长目标。 本文按照目前主流技术做了一个基本的梳理，整个是假设PHP程序员不是基础非常扎实的情况进行的设定，并且所有设定都非常具体明确清晰，可能会让人觉得不适，请理解仅代表一家之言

关于解决在win10无线局域网环境下VMware虚拟机中的CentOS6.5系统连接网络的问题

一. 在前台连接写入的时候编码是不是与数据库编码符合 $conn = @ MYSQL_CONNECT("localhost","root","")OR DIE ("数据库连接错误"); MYSQL_SELECT_DB("millia",$conn); MYSQL_QUERY('SET NAMES UTF8');//使用UTF8而不是UTF-8中文编码?>1234512345二、

有很多时候，我们都会用到浮动，而我们有时候对浮动只是一知半解，却不是太清楚它到底是怎么回事，不知道各位有没有和我一样的感觉，只知道用它，却不知道它到底是怎么回事，所以，在学习的过程中，就要把一个概念不是很清晰的问题把它弄清楚了，便于我们以后的使用。早些时候，W3C规定出来的浮动实际并不是为了布局所用，当时是为了做文字环绕才使用到浮动，后来有人发现用它来做布局也挺不错啊，但是，用到了浮动，是要付出一

在移动设备上进行网页的重构或开发，首先得搞明白的就是移动设备上的viewport了，只有明白了viewport的概念以及弄清楚了跟viewport有关的meta标签的使用，才能更好地让我们的网页适配或响应各种不同分辨率的移动设备。一、viewport的概念通俗的讲，移动设备上的viewport就是设备的屏幕上能用来显示我们的网页的那一块区域，在具体一点，就是浏览器上(也可能是一个app

Web前端常见面试题及答案1、盒子模型盒子模型包括四部分：内容（content）、填充（padding）、边框（border）、边界（margin）盒子模型可以分为两种：IE盒子模型和W3C标准盒子模型区别：两者对于width的计算方式不同，前者width=border+padding+内容宽度，后者width=内容宽度。2、position包含几种属性？a

JS总结，面试题

高效的 JavaScript 本文转载自：众成翻译 译者：边城 链接：http://www.zcfy.cc/article/2320 原文：https://dev.opera.com/articles/efficient-javascript/?page=3#timeouts传统的 Web 页面不会包含很多脚本，至少不会太影响 Web 页面的性能。然而，Web 页面变得越来越

Extjs4学习总结之combox组件(详细)

1.ComponentQuery简介：  ComponentQuery提供了一种类似CSS标签选择器的组件查询方式，他有两种调用方式：     (1)直接通过ComponetManager来查询：Ext.ComponentQuery.query()     (2)通过组件直接的Container来查询：  combo.up('form').query()2.优点：不用指

Ext.QuickTips.init();

一、开发工具配置       1、http://www.eclipse.org/downloads/下载Eclipse，解压。        2、http://spket.com/download.html下载Plugin，解压后覆盖到Eclipse的目录。       3、启动Eclipse，选择window→proference→spket→javascriptprofil