2016年08月_残阙的歌

11月 10月 08月 07月 06月 05月 04月 03月 02月

原创大数据仓库之ods原始数据层和dw层设计

甲问：数仓建模时，涉及到uv(去重用户数)指标时，数据从哪里取，只能走ods原始数据层吗，汇总到dw层时，由于数据量太大，不能到用户粒度，所以在dw层中不包含用户粒度的数据，而且电商的报表分析，几乎每张报表都会涉及到uv指标，如果所有的uv指标都从ods层去获取，那样io是否会成为瓶颈，原始数据量也比较大。举例：比如说有个字段column_a，包含了几百个数据（1-500），统计时可能会统计条件为

2016-08-31 15:55:46 29755 4

原创 Benchmark 性能测试简介

一、Benchmark简介Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at t

2016-08-29 18:25:44 36801 1

转载 hadoop 2.x常用端口一览表

1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Master的http服务的

2016-08-19 10:36:13 496

原创 SBT（一）搭建之漫漫长路

最近在学scala，入乡随俗，不用maven改用sbt。构建如下：安装SBT在SBT的官网（http://www.scala-sbt.org/）下载相应版本的SBT。Windows环境下建议配置SBT的环境变量。（windows上搞开发真是越发蛋疼。）具体步骤不说了，就是把sbt/bin目录配置进PATH。在sbt/bin下有个sbt.bat

2016-08-11 16:36:44 4392

原创数据库的乐观锁和悲观锁

一、广义的乐观锁，悲观锁悲观锁(Pessimistic Lock), 顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁。乐观锁(Optimistic Lock), 顾名思义，就是很乐观，每次去拿数据的时

2016-08-10 14:19:31 349 1

原创 Groovy （三）闭包的使用-----极速入门总结

一、直接摆例子/** * Created by Administrator on 2016/8/6. *//*** 闭包的使用* 避免了代码的冗长，可以辅助创建轻量级可复用的代码片段*/print("\n闭包的使用:")def pickEven(n, block) { for (int i = 2; i 2) { block(i) } p

2016-08-06 16:26:34 913

原创 scala 与groovy 语法对比----长期更新

最近在学scala的同时也在接触groovy，因为每个语言都有很多相同点和不同点，拿出来比较就不容易混乱了。太基本的语法这里就不列出来对比了，只列出些遇到的比较重要的语法或者特性之间容易混淆的东西。一、traits 特性在scala中 traits的出现是为了代替java中的interface，与interface不同的是，interface只可以声明抽象方法，而traits可以声明抽象/

2016-08-06 11:42:54 3523

原创 Groory（二）字符串String+集合Collection篇---极速入门总结

这里只总结一些与java不同的的用法，但是又比较常用的API/** * 这里只总结一些与java不同的的用法，但是又比较常用的API *//** * " ' ' "的用法 */String c = "'Hello Triple" + "Multiple lines'";//print 'Hello TripleMultiple lines'/** *索引用法 */St

2016-08-05 15:46:25 804

原创 Groory（一）语法篇---极速入门总结

这篇文章主要针对有java基础很扎实，学习能力比较强的同学进行学习。因为groovy与java同根，所以这里只列出与java不同的一部分，力求精简！避免啰嗦重复。一、声明方式：Variables in Groovy can be defined in two ways − using the native syntax for the data type or the next is by

2016-08-05 15:39:54 1297

原创 IDEA 社区版使用Maven创建Web工程并部署tomcat(解决无tomcat的问题)

很多人使用idea构建web项目的时候在烦恼，为什么我的破idea找不到Web Appplication，找不到Web Appplication就新建不了tomcat。其实我们在下载的时候没有分清楚idea是有两种版本的，一个是社区版，一个是旗舰版（要钱的）。旗舰版的功能很齐全，但是社区版的很多东西需要自己集成。由于IDEA社区版（Community）无法直接New一个Web Ap

2016-08-04 15:21:01 39143 3

原创 Intellij IDEA创建Maven Web项目左边目录结构不正确原因

现象：Intellij IDEA创建Maven Web项目找不到src目录，找不到java目录，找不到webapp目录等。首先，你按照网上的方法去新建一个maven的web项目（网上一大把），当走到完成时，你会发现一个进度条正在下载东西，如下：这个时候这个下载是很缓慢，注意了，当初心急的我想着把maven的仓库修改一下，于是停了。之后，你在项目左边目录中

2016-08-03 18:04:28 15833

原创 Scala 浅谈scala闭包与java回调函数

闭包是指可以包含自由（未绑定到特定对象）变量的代码块；这些变量不是在这个代码块内或者任何全局上下文中定义的，而是在定义代码块的环境中定义（局部变量）。“闭包” 一词来源于以下两者的结合：要执行的代码块（由于自由变量被包含在代码块中，这些自由变量以及它们引用的对象没有被释放）和为自由变量提供绑定的计算环境（作用域）。在PHP、Scala、Scheme、Common Lisp、Smalltalk、

2016-08-03 15:39:38 1855