coding笔记

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=332 排版乱？请移步原文获得更好阅读体验 1.scala中的函数 scala是一门面向对象和函数式编程相结合的语言，前面的文章已经讲了类、对象、继承等面向对象特有的语言特性，接下来将关注一下函数式编程的相关知识。在scala中，函数和变量一样，都是scala的一等公民。与函数相

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=330 排版乱？请移步原文获得更好的阅读体验 1.背景 最近项目中使用了guice作为依赖注入的框架。碰到一个如下的场景： 定义了一个从不同渠道输入数据的接口AbstractImporter,设计之初的目标是抽象从hdfs，kafka，DBMS等数据源输入数据处理。那么对应的实现就会

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=317 总体来说，scala中的特质类似于Java中的接口，但是有别于接口的是特质中既可以有实现方法也可以有抽象方法。 1.特质的定义 使用关键字trait来定义一个特质，如： scala    5行 trait Log{ def info(ms

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=315 排版乱？请移步原文获得更好的阅读体验 类似于java中的继承，在scala中同样有继承一说，而且在很多方面和java中的继承非常的类似，下面详细说明。 1.关键字及重写 scala中表示继承的关键字为extends,如下代码，Student 继承自People: scala  

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=308 排版乱？请移步原文获得更好的阅读体验 前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理，这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。 1.创建project 进入kylin操作界面，如果没有project可以创建，kylin

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=306 排版乱？请移步原文获得更好的阅读体验 1.什么是cube？ cube是所有dimession的组合，每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid，如图： 对应一张hive表，有time,item,l

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=292 排版乱？请移步原文获得更好的阅读体验 1.概述 kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口，能支持超大规模的数据分析。响应时间在亚秒级别，其核心是预计算，计算结果存放在hbase中。 2.特性 可扩展超快OLAP引擎

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=287 排版乱？请移步原文获得更好的阅读体验 1.基础特性 scala中的包和java中的包类似，都是用来在大型工程中给类限定一个命名空间。有如下特性： （1）包可以像内部类那样嵌套 （2）包路径不是绝对路径。 （3）包声明链net.bigdataer.blog并不会自

排版乱？请移步原文获得更好的阅读体验 1.单例对象 scala中没有静态类或者静态方法，都是通过object实现的，它表示某个类的单例对象。如object People是class People的单例对象。 2.伴生对象 java中有些类可能会既有静态方法又有实例方法，在scala中静态方法存在于对象中，也就意味中scala中需要有这么一个东西，它既是类，也含有对象。其中的对象就是

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=269排版乱？请移步原文获得更好的阅读体验 ### 1.针对不同字段生成的方法 字段 生成的方法 备注 var/val name 公有的name和name_=方法（仅var） 可以被公开访问 @BeanProperty val/var name 公有的name,getNam

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=266背景nginx是一款非常优秀的网络代理工具，但是其日志管理有点缺憾：nginx的access_log会无限的增长。我们希望的是它能按照日期去做日志分割。一般有两种方法，自己写脚本实现，一种是使用现成的logrotate工具。本文讲解第二种方法。过程使用logrotate做nginx日志轮询 logr

版权申明：转载请注明出处。 文章来源：http://bigdataer.net/?p=2391.关于我本人现在北京某大型互联网公司高级数据开发工程师一枚，三年工作经验，一年多面试官经验。2.为啥要写这篇文章？面试中经常会遇到这种情况：之前专心写web的Java码农突然转型想做大数据了，然后写几个大数据的项目经验跑来面试，结果就是一问三不知，还有好多人只是搭了个Hadoop环境就说自己是搞大数

版权申明：转载请注明出处。 文章来源：bigdataer.net 1.什么是spark-streaming？ 实际生产中会有许多应用到实时处理的场景，比如：实时监测页面点击，实时监测系统异常，实时监测来自于外部的攻击。针对这些场景，twitter研发了实时数据处理工具storm，并在后来开源。spark针对这些场景设计了spark-streaming实时计算模型，它允许用户使用一系

1.为什么要写这篇文章？ 一是因为经常逛知乎，发现好些知乎大神的签名上都放的自己的微信公众号，但是关注之后就回一句简单的谢谢关注之类的话，缺乏互动性。二来是之前网盘共享了一堆本科生的毕设，为了防止别有用心的人拿去卖，加了密码，想要获取密码的话得加我微信验证。最近好多人都来加微信求密码，实在忙不过来，于是就想到了搞一个微信公众号的聊天机器人。于是乎借着周末的时间搞了一个能自动回复密码的机器人儿，但

转载请注明出处。更多文章请访问 http://bigdataer.net 1.概述 数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力，所以一个好的数据监控系统或者一个合理的数据监控方案对于数据质量的保证至关重要。本文将展示一种实际生产中使用过的数据监控方案，并给出相关的代码。 数据计算采用spark，报警形式采用

3.scala容器 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; outline-offset: -2px;}a:hover,a:active { outline: 0;}a { color: #0088cc;

2.scala控制结构、函数、异常处理---小书匠,在线编辑器,MARKDOWN,Evernote,文件版本 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; outline-offset: -2px;}a:hover,a:active