2017年09月_weifengLD

12月 11月 10月 09月 08月 07月 05月

原创 Oracle 忘了commit

今天在插入数据的时候忘了写commit. 导致后面的插入任务等了好久。

2017-09-27 15:07:14 1170

转载 6-通过Java代码build cube

转：http://www.cnblogs.com/hark0623/p/5580632.html通常是用于增量代码如下：123456789101112131415161718192021

2017-09-25 17:34:43 341

转载 5-Kylin Java Restful API

最近在做大数据方面的开发, 学习研究了一段时间的kylin系统, 对于前端开发需要使用 RESTful API ,但是官网并没有提供详细的Java API. 经过几天的看文档,最终写出了 Java 的API,不敢私藏,特分享与大家. 1 import java.io.BufferedReader; 2 import java.io.InputStream; 3 import

2017-09-25 17:33:14 763

转载 4-apache kylin企业级开源大数据分析平台

转：http://www.thebigdata.cn/JieJueFangAn/30143.html　　我先做一个简单介绍我叫史少锋，我曾经在IBM、eBay做过大数据、云架构的开发，现在是Kyligence的技术合伙人。　　Kylin是这两年在国内发展非常快的开源大数据项目。今天大会合作厂商中有超过一半的企业已经在使用或者正在试用Kylin，应主办方邀请，今天跟大家做一个

2017-09-25 17:31:35 565

转载 3-KYLIN订单例程

转：http://blog.itpub.net/30089851/viewspace-2122586/一.Hive订单数据仓库构建1. 创建事实表并插入数据DROP TABLE IF EXISTS default.fact_order ;create table default.fact_order (　　time_key string,　　product_ke

2017-09-25 17:30:03 345

转载 2-KYLIN1.5安装测试

转：http://blog.itpub.net/30089851/viewspace-2121221/微视频链接: Apache Kylin初识 1.版本(当前实验版本组合,版本一定要兼容,否则各种问题)Hadoop2.7.2+HBase1.1.5+Hive2.0.0kylin-1.5.2.1 (apache-kylin-1.5.1-HBase1.1

2017-09-25 17:28:53 232

转载 1-KYLIN介绍

转:http://blog.csdn.net/yu616568/article/details/48103415　　　　Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使

2017-09-25 17:27:16 243

转载 rdd,dataframe,dataset之间的区别

在spark中，RDD、DataFrame、Dataset是最常用的数据类型，本博文给出笔者在使用的过程中体会到的区别和各自的优势共性：1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才

2017-09-23 16:55:45 623

原创在perl中使用linux date

my $todaydate = `date +'%Y%m%d'`;#当前日期 my $tuesday=`date -d '$txdate + 1 day' +'%Y%m%d'`;#txdate=20170909 则值为20170910 my $week_day=`date -d '$todaydate' +%w` #显示所在的星期

2017-09-20 15:44:49 475

当我们只关心数据表有多少记录行而不需要知道具体的字段值时，类似“select 1 from tblName”是一个很不错的SQL语句写法，它通常用于子查询。这样可以减少系统开销，提高运行效率，因为这样子写的SQL语句，数据库引擎就不会去检索数据表里一条条具体的记录和每条记录里一个个具体的字段值并将它们放到内存里，而是根据查询到有多少行存在就输出多少个“1”，每个“1”代表有1行记录，同时选用数字1

2017-09-20 14:16:51 18431

转载 thrift初识

一. 与 Thrift 的初识也许大多数人接触 Thrift 是从序列化开始的。每次搜索 “java序列化” + “方式”、“对比” 或 “性能” 等关键字时，搜索引擎总是会返回一大堆有关各种序列化方式的使用方法或者性能对比的结果给你，而其中必定少不了 Thrift，并且其性能还不错嘞，至少比那战斗力只有1的渣渣 java 原生序列化要强很多（好吧原谅我的小情绪……）。然而，我最初

2017-09-15 16:39:20 374

转载序列化和反序列化

简单来说序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象的内容进行流化，流的概念这里不用多说(就是I/O)，我们可以对流化后的对象进行读写操作，也可将流化后的对象传输于网络之间(注：要想将对象传输于网络必须进行流化)！在对对象流进行读写操作时会引发一些问题，而序列化机制正是用来解决这些问题的！问题的引出：如上所述，读写对象会有什么问题呢？比如：我要将对象写入一个磁盘文件而后再将其

2017-09-15 16:35:48 152

原创 Perl 字符串转换成UNIX时间戳

最近遇到一个需求，调用perl脚本，由于自己不会perl硬着头皮上实现的功能是，下一周任一时间发送上一周一周报#!/usr/bin/perl -w #检测是否是闰年#输入参数年：数值类型#如：2017sub is_leap_year{ my ($year) = @_; my $flag = 0; if((($year) %4 == 0 && ($y

2017-09-15 15:06:17 1552

转载 hadoop beyond memory

Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory

2017-09-13 17:18:41 301

转载 FP_TREE和FP_GROWTH算法

一. FP树构造 FP Growth算法利用了巧妙的数据结构，大大降低了Aproir挖掘算法的代价，它不需要不断地生成候选项目队列和不断得扫描整个数据库进行比对。为了达到这样的效果，它采用了一种简洁的数据结构，叫做frequent-pattern tree(频繁模式树)。请看下面这个例子：先看数据集如下：这张表描

2017-09-12 21:38:36 1697

转载数据挖掘十大算法【转载】

数据挖掘十大经典算法一、C4.5 C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。二、The k-means algorith

2017-09-12 11:59:24 185

原创实习感悟

最近在公司实习。见识到一些观点。一：工作不能和公司领导层对着干，对于大公司，我们都是打工的二：自己掌握一门技术，千万不要把自己变成公司不可替代的人。公司领导也不会让你成为这样的人，换位思考，如果你成为这样的人，对公司的影响是多么的大。领导不会让你成为这样的人的事实上，对于大公司，没有这种不可替代的人，有的只是你脑海中技术至上的幻想而已，技术其实很容易被替代，可替代也没有什么不好

2017-09-09 12:22:02 289