kw-home

在平时的工作中，经常有按照不同维度筛选和统计数据的需求。拿视频会员订单数据来说吧，运营人员要查看深圳市的成功下单数或则深圳市某一种产品的成功下单数或者某一种产品的所有成功下单数时，每天的订单数又很大，现查的话按照不同的维度去查询又很慢。此时本篇文章或许会帮助到你。group by：主要用来对查询的结果进行分组，相同组合的分组条件在结果集中只显示一行记录。可以添加聚合函数。 grouping sets：对分组集中指定的组表达式的每个子集执行group by，group by A,B grouping s

一、背景odps是阿里集团的大数据计算平台，odps-sql语法类似于hive。最近做了一个***的需求，需求中用到了大量的维度交叉，等到需求实现后却发现新的问题——cube的交叉维度太多了（最初有17个），而且指标的计算逻辑比较复杂，造成数据加工太慢了，举例1天的增量表大概8个小时，需求中还有自然月和30天时间粒度的，根本没法实现，因此投入大量时间做了优化，最终结果：11个维度，1天表的加工时间是30分钟，7日表1个小时，30天表3个小时。二、两种SQL方式实现聚合查询有两种方式，一种是使

在数据库操作中，当我们插入数据时往往需要当前插入数据的主键id，初学时比较笨，在插入之后再做一遍查询来获取id，这样会出现很多的问题。其实java提供了useGeneratedKeys方法，可以直接返回id，直接上代码：正常插入语句是这样的<insert id="addTeacher" parameterType="com.kk.demo.bean.Teacher">...

1.Java并发编程：Callable、Future和FutureTask创建线程的2种方式，一种是直接继承Thread，另外一种就是实现Runnable接口。这2种方式都有一个缺陷就是：在执行完任务之后无法获取执行结果。如果需要获取执行结果，就必须通过共享变量或者使用线程通信的方式来达到效果，这样使用起来就比较麻烦。而自从Java 1.5开始，就提供了Callable和Futur...

一、概述1.1、IoC是什么　　Ioc—Inversion of Control，即“控制反转”，不是什么技术，而是一种设计思想。在Java开发中，Ioc意味着将你设计好的对象交给容器控制，而不是传统的在你的对象内部直接控制。如何理解好Ioc呢？理解好Ioc的关键是要明确“谁控制谁，控制什么，为何是反转（有反转就应该有正转了），哪些方面反转了”，那我们来深入分析一下：　　●谁控制谁，控...

本文介绍Spring boot 如何使用redis做缓存，如何对redis缓存进行定制化配置(如key的有效期)以及spring boot 如何初始化redis做缓存。使用具体的代码介绍了@Cacheable，@CacheEvict，@CachePut，@CacheConfig等注解及其属性的用法。1.部署Cache1.1配置redis依赖和数据源配置pom.xml<...

一、注解(annotations)列表@SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让springBoot扫描到Configuration类并把它加入到程序上下文。@Controller用于标注控制层组件，@Service用于标注业务层组...

有时候我们想要得到每个分组的前几条记录，这个时候oracle中row_number函数使用非常方便，可惜MYSQL从8.0版本开始才支持窗口函数。本文介绍一些通过sql实现窗口函数效果的方法。1.利用用户变量实现数据自增表flow_task有phaseno（序列号），objectno（编号）等几个字段，我们想实现根据编号字段分组，然后组内根据序列号排序功能select @rownum...

1.scan原理HBase的查询实现只提供两种方式：1、按指定RowKey 获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）Get 的方法处理分两种 : 设置了ClosestRowBefore 和没有设置的rowlock .主要是用来保证行的事务性，即每个get 是以一个row 来标记的.一个row中可以有很多family 和colu...

1、淘宝网（(精确到省份）API地址： http://tcc.taobao.com/cc/json/mobile_tel_segment.htm?tel=手机号码2、百度(精确到地市)API地址：http://mobsec-dianhua.baidu.com/dianhua_api/open/location?tel=手机号码import jsonimport urlli...

HBase 提供很方便的shell脚本，可以对数据表进行 CURD 操作，但是毕竟是有一定的学习成本的，基本上对于开发来讲，sql 语句都是看家本领，那么，有没有一种方法可以把 sql 语句转换成 hbase的原生API呢？ 这样就可以通过普通平常的 sql 来对hbase 进行数据的管理，使用成本大大降低。Apache Phoenix 组件就完成了这种需求，官方注解为 “Phoenix – ...

1.os.system使用os.system(cmd)即可在python中使用linux命令os.system(cmd)的返回值。如果执行成功，那么会返回0，表示命令执行成功。否则，则是执行错误。使用os.system返回值是脚本的退出状态码，该方法在调用完shell脚本后，返回一个16位的二进制数，低位为杀死所调用脚本的信号号码，高位为脚本的退出状态码（查看文章尾部扩展资料[1]），...

最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。 1 ,  前期准备1.1  ,  准备Linux环境，配置虚拟机网络环境，修改虚拟机IP地址（最好使用第一种配置，简单且不容易出错）        注意，修改之前建议使用 root 管理员权限登陆，这样会避免特别多问题，等集群搭建好之后在用普通用户登...

datetime模块用于是date和time模块的合集，datetime有两个常量，MAXYEAR和MINYEAR，分别是9999和1.datetime模块定义了5个类，分别是1.datetime.date：表示日期的类2.datetime.datetime：表示日期时间的类3.datetime.time：表示时间的类4.datetime.timedelta：表示时间间隔，即两个时间点...

1. toptop命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。　　可以直接使用top命令后，查看%MEM的内容。可以选择按进程查看或者按用户查看，如想查看oracle用户的进程内存使用情况的话可以使用如下的命令：　　$ top 　　第一部分 系统信息栏 ：　　第一行（top）：　　　　“11:15:5...

用Python Shell设置或获取环境变量的方法：一、设置系统环境变量1、os.environ['环境变量名称']='环境变量值' #其中key和value均为string类型2、os.putenv('环境变量名称', '环境变量值')二、获取系统环境变量1、os.environ['环境变量名称']2、os.getenv('环境变量名称')环境变量vi /etc/pr...

Hbase存储详解一、概述　　Hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。　　它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。　　与hadoop一样，Hbase目标主要依靠横向扩展，...

Hbase存储详解一、概述　　Hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。　　它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。　　与hadoop一样，Hbase目标主要依靠横向扩展，...

本文实现了用python爬取淘宝信息的功能，主要涉及访问网页、正则匹配、json格式化等技术。# -*- coding: utf-8 -*import requests# import bs4import reimport jsondef open(keywords, page): headers = { "User-Agent": "Mozilla/...

1.Flink架构及特性分析Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在Flink中，所有 的数据都看作流，是一种很好的抽象，因为这更接近于现实世界。 1.1 基本架构...

一、依赖模块1.excel导出依赖xlwt或者xlsxwriterxlwt只能支持65535行，较大数据量可以选用xlsxwriter;python 字符默认是ascii编码，导出时转化为udf-8格式2.发送邮件依赖smtplib发送附件时，必须用starttls()，保证安全性 二、代码# -*- coding: UTF-8 -*-import sysi...

官网文档：Phoenix provides two methods for bulk loading data into Phoenix tables:· Single-threaded client loading tool for CSV formatted data via the psql command· MapReduce-based bulk load tool for C...

一、从本地文件系统中导入数据到Hive表先在Hive里面创建好表，如下： hive&gt; create table wyp &gt; (id int, name string, &gt; age int, tel string) &gt; ROW FORMAT DELIMITED &gt; FIELDS TERMINATED BY '\t' ...

1.通过shell获取当前8位日期，并赋给变量，并且使用变量作为文件名，建立文件夹ls_date=`date +%Y%m%d`mkdir ${ls_date}获取日期注意事项：date +%Y%m%d 这个字符串是被英文状态下的ESC下面那个键。获取变量注意事项：必须有$与{变量名}组成。2.获取时分秒：date "+%Y-%m-%d %H:%M:%S"3.获取昨天时期...

1. 下载JetbrainsCrack-2.6.2.jar链接:http://pan.baidu.com/s/1eRJkOcq 密码:a4ji12这个是我使用的IntelliJ IDEA 2017版本下载地址链接:http://pan.baidu.com/s/1kVHoZ5t 密码:weu3122.找到IntelliJ IDEA，右键显示包内容，将JetbrainsCrack-2.6.2....

大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)，总之就是cr...

本文将通过描述 Spark RDD ——弹性分布式数据集（RDD，Resilient Distributed Datasets）的五大核心要素来描述 RDD，若希望更全面了解 RDD 的知识，请移步 RDD 论文：RDD：基于内存的集群计算容错抽象RDD是Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示...

应用场景：推荐新用户注册A会员推荐B注册，即赠送A会员100积分，B会员推荐C会员注册，赠送A会员50积分、B会员各100积分，依次类推，只要A发展的会员继续发展下面的会员，A都可以获增相应的积分。 package com.enn.test;import java.util.ArrayList;import java.util.HashMap;import java.util.List;...

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类sql语句的查询功能；Hive使用Hql作为查询接口，使用HDFS存储，使用mapreduce计算；Hive是非关系型数据库即NoSQL（Not Only SQL）。关系数据库，是建立在关系模型基础上的数据库，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。1. 查询语言。由于 SQL 被广泛的...

最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。一. 日志效率原因开发时，控制台输出一大堆日志信息，严重影响查看日志效率。从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properties日志文件。查看log4j-defaults.properties文件由上图可知，Spark-cor...

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。1、先到Redis官网(redis.io)下载redis安装包 2、解压并进入其目录　　3、编译源程序。由于redis是C语言编写，因此需要编译。如果执行make报错，则Linux系统先安装GCC。　　make       修改安装目录　　make ins...

1、安装zookeeper步骤1：下载并解压zookeeper安装包tar -zxvf zookeeper-3.4.11.tar.gz 步骤2：配置环境变量 export ZOOK=/opt/hadoop/zookeeper-3.4.11 步骤3：配置文件 zoo.cfgcd conf/复制配置文件：cp zoo_sample.cfg zoo.cfg修改配置文件：#数据目录dataDir...

本文介绍ssm框架中mybatis实现多表关联查询的问题。主要修改mapper.xml和Entity定义两个地方，mapper.xml中需要定义返回格式，而Entity里定义关联表类的相互引用等关系。一、一对一关联 1.1、提出需求　　根据班级id查询班级信息(带老师的信息)1.2、创建表和数据　　创建一张教师表和班级表，这里我们假设一个老师只负责教一个班，

本文介绍三种方法：1）用下标代替DAO层的函数方法 Public User selectUser(String name,String area);对应的Mapper.xml   select * from user_user_t where user_name = #{0} and user_area=#{1}其中，#{0}代表接收的是dao层中的

本文实现Eclipse部署Tomcat项目。项目组给力git框架，由于第一次操作，踩了很多坑，以下做一些记录。1.下载git项目。1）常规方法：（1）File->import->Git->project from git选择“Colne URI”，输入git地址，之后next选择正确分支（拉代码过程时选择preproduction分支），然后ne

一，建立spring-boot-sample-mysql工程1、http://start.spring.io/     A、Artifact中输入spring-boot-sample-mysql     B、勾选Web下的web     C、勾选SQL下的JPA MYSQL2、Eclips中导入工程spring-boot-sample-mysql     A、解压快

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Boot致力于在蓬勃发展的快速应用开发领域（rapid application development）成为领导者。1.首先介绍极简的helloworld工程1）.打开Ecl

SparkContext初始化是Driver应用程序提交执行的前提，这里以local模式来了解SparkContext的初始化过程。 本文以 val conf = new SparkConf().setAppName(“mytest”).setMaster(“local[2]”) val sc = new SparkContext(conf) 为例，打开debug模式，然后进行分析。 一

Java程序中产生的数据，如果导入oracle或者mysql库，可以通过jdbc连接insert批量操作完成，但是当前版本的hive并不支持批量insert操作，因为需要先将结果数据写入hdfs文件，然后插入Hive表中。package com.enn.idcard;import java.io.IOException;import java.sql.Connection;import

Hive TutorialHive TutorialConcepts What Is HiveWhat Hive Is NOTGetting StartedData UnitsType SystemBuilt In Operators and FunctionsLanguage CapabilitiesUsage and Examples Creating, Showi

1、首先先来看下基于TCP协议Socket服务端和客户端的通信模型： Socket通信步骤：（简单分为4步）1.建立服务端ServerSocket和客户端Socket2.打开连接到Socket的输出输入流3.按照协议进行读写操作4.关闭相对应的资源 2、相关联的API： 1.首先先来看下ServerSocket

Kafka client会消费kafka cluster中的记录。它将透明地处理Kafka集群中的服务器故障，并透明地适应它在集群内迁移的数据分区。该客户机还与服务器交互，以允许用户组使用消费者组来负载平衡消费(如下所述)。消费者维护TCP连接到必要的代理来获取数据。使用后未能关闭消费者会泄漏这些连接。消费者不是线程安全的。更多细节见多线程处理。偏移量Kafka为分

The producer is thread safe and sharing a single producer instance across threads will generally be faster than having multiple instances.producere是线程安全的。所以多线程调用的时候，使用单个producer实例即可。

内部类是指在一个外部类的内部再定义一个类。类名不需要和文件夹相同。*内部类可以是静态static的，也可用public，default，protected和private修饰。（而外部顶级类即类名和文件名相同的只能使用public和default）。首先讨论一下内部类的必要性 1.完善多重继承C++作为比较早期的面向对象编程语言，摸着石头过河，不幸的当了炮灰

        在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。H...

首先hadoop包放到一个程序目录下，例如我放到/usr/local下 完整路径为/usr/loca./hadoop-2.4.1然后配环境变量，前提是jdk1.7已经安装好了。环境变量配置：export JAVA_HOME=/usr/local/jdk1.7export JRE_HOME=/usr/local/jdk1.7/jreexport CLASSPATH=.:$

HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和sto

HDFS源代码分布在16个目录下，它们可以分为四类：1.基础包（包括工具包和安全包）包括工具和安全包。其中，hdfs.util包含了一些HDFS实现需要的辅助数据结构；hdfs.security.token.block和hdfs.security.token.delegation结合Hadoop的安全框架，提供了安全访问HDFS的机制。hdfs.util（一

linux环境Mysql 5.7.13安装教程分享给大家，供大家参考，具体内容如下1系统约定Mysql目录安装位置：/usr/local/mysql数据库保存位置：/usr/local/mysql/data/mysql日志保存位置：/usr/local/mysql/data/log/mysql2下载mysql在官网：http://dev.mysql.com/down

概述　　redhat的yum源需注册付费，费时费力，整理RedHat yum 安装CentOS的方法。安装系统文件系统：RedHat Enterprise Linux 6.4-x86_64 md5:467B53791903F9A0C477CBB1B24FFD1F   这是下载地址：http://pan.baidu.com/s/1bniVAMj第一步下载相关安装包

Java IO通过Stream（流）来实现。关于流，可以理解为是一种“数据的管道”。管道中流动的东西可以是基于字节，也可以是基于字符的等。1、在java中stream代表一种数据流（源），javaio的底层数据元，－－－（想像成两头都有水龙头的输水管）2、任何有能力产生数据流（源）的javaio对象就可以看作是一个InputStream对象既然它能产生出数据，我们就可以将数据取出，ja

一、什么是hive元数据？hive元数据就是hive的一些基本的元素，主要包括hive表的基本属性，如下（1）hive表的数据库名、表名、字段名称与类型、分区字段与类型（2）表的分区，分区的属性location等（3）serdeproperties, tblproperties等等可以通过desc formatted tablename查看表

一．环境准备 jdk 1.8.0 hadoop2.7.3 伪分布式部署 scala 2.11.8 支持spark2.0.1及以上版本 spark2.1.1二．Spark安装模式(本文伪分布式) spark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。 local(本地模式)： 常用于本地开发测试，本地还分为local单线程和local-cluster多线程; standalone(集群...

环境：hadoop 2.7.3 + hbase 1.1.12一、下载解压到官网 http://hbase.apache.org 下载合适的版本（hbase与hadoop的版本要匹配，否则可能运行不起来），解压到某个目录即可二、设置环境变量export HBASE_HOME=/opt/hadoop/hbase-1.1.12export PATH=$PATH:$H

1. 所需要的环境Hive 2.0需要以下运行环境： Java 1.7以上（强烈建议使用Java 1.8） Hadoop 2.X2. 下载、解压Hive安装包Hive官网地址: http://hive.apache.org/ 例如：wget "http://mirrors.cnnic.cn/apache/hive/hive-2.0.0/apache-hive

1.下载jdk并安装去官网下就可以了，下完之后把文件移到/opt/Java下[plain] view plain copyguo@guo:~/下载$ mv ./hadoop-2.7.2-src.tar.gz /opt/Hadoop/  mv: 无法创建普通文件"/opt/Hadoop/hadoop-2.7.2.tar.gz": 权限不够  guo@guo:~/下载$ su root #你用sudo...

Java7新特性，支持使用try后面跟随（）括号管理释放资源例如通常使用try代码块try { fis = new FileInputStream(source); fos = new FileOutputStream(target); byte[] buf = new byte[8192]; int i;

转载自：http://blog.csdn.net/dc_726/article/details/41627613首先简单介绍一下Dremel是什么，能解决什么问题。第二部分着重讲Dremel的数据模型，即数据结构。第三部分将谈一下在此数据结构上设计的算法。1 起源Dremel的数据模型起源于分布式系统的应用环境(Protocol Buffers，一种在Google内

背景随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、几百M也要放到Hadoop上作分析，只会适得其反，但是当面对真正的Big Data的时候，Hadoop就会暴露出它对于数据分析查询支持的弱点。甚至出现《MapReduce: 一个巨大的倒退》此类极端的吐槽，这也怪不得Hadoop，毕

我们知道，HBase是一个基于列的NoSQL数据库，它可以实现的数据的灵活存储。它本身是一个大表，在一些应用中，通过设计RowKey，可以实现对海量数据的快速存储和访问。但是，对于复杂的查询统计类需求，如果直接基于HBase API来实现，性能非常差，或者，可以通过实现MapReduce程序来进行查询分析，这也继承了MapReduce所具备的延迟性。实现Impala与HBase整合，我们能够获

概述Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如map,reduce,join,window等的高级函数组成的复杂算法处理. 最终, 处理后的数据可以输出到文件系统, 数据库以及实时仪表盘

在Linux系统下执行java -jar XXX.jar com.HelloWorld往往会提示：No main manifest attribute, in XXX.jar原因如下：正常情况下，java打包成jar包需要在MANIFEST.MF中指定Main-Class项以便运行java -jar XXX.jar时找到对应的主类。因为-jar的

一、配置eclipse + maven + scala环境1. 在Eclipse Market中安装Scala IDE、Maven  2. 安装m2e-scala(图中的url是：http://alchim31.free.fr/m2e-scala/update-site/)  二、测试eclipse+m

这个解决方法也适用于：1.安装插件报错，找不到某jar包；2.安装插件报错An error occurred while collecting items to be installed session context was:(profile=epp.package.je..。出现错误的原因p2有它的一个垃圾回收机制，之前删除的JAR包

RPC（Remote Procedure Call Protocol）的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。1 如何调用他人的远程服务？由于各服务部署在不同机器，服务间的调用免不了网络通信过程，服务消费方每调用一个服务都要写一坨网络通信相关的代码，不仅复杂而且极易出错。如果有一种方式能让我们像调用本

1. 安装Hadoop2.7.3 6节点集群并HAnn:bi-hdp0nn:bi-hdp32. 编译hadoop-eclipse-plugin-2.7.3基于hadoop2x-eclipse-pluginhttps://github.com/winghc/hadoop2x-eclipse-plugin3.配置插件打

环境：windowsHadoop版本：hadoop2.7.3开发工具：eclispe-hadoop-plugin运行map reduce任务报错：(null) entry in command string: null chmod 0700解决办法：在https://github.com/SweetInk/hadoop-c

1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内

1.起因(Why HBase  Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单的

1)         什么是Cardinality不是所有的查询条件出现的列都需要添加索引。对于什么时候添加B+树索引。一般的经验是，在访问表中很少一部分时使用B+树索引才有意义。对于性别字段、地区字段、类型字段，他们可取值范围很小，称为低选择性。如SELECT * FROM student WHERE sex='M'按性别进行查询时，可取值一般只有M、F。因此SQL语句得

Apache Calcite是面向Hadoop新的查询引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力，除此之外，Calcite还提供了OLAP和流处理的查询引擎。正是有了这些诸多特性，Calcite项目在Hadoop中越来越引入注目，并被众多项目集成。Calcite之前的名称叫做optiq，optiq起初在Hive项目中，为Hive提供基于成本模型的优化，即CBO（Co

Hive内置数据类型由基本数据类型和复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样，Hive也包括 隐式转换（implicit conversions）和显式转换（explicitly conversions）。　　Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数据类型是INT型，另一个 是SMA

Kylin基于MOLAP实现，查询的时候利用Calcite框架，从存储在Hbase的segment表（每一个segment对应着一个htable）获取数据，其实理论上就相当于使用Calcite支持SQL解析，数据从Hbase中读取，中间Kylin主要完成如何确定从Hbase中的哪些表读数据，如何读取数据，以及解析数据的格式。场景设置首先设想一种cube的场景：维度：A（ca

SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。序列化作用序列化是对象转换为字节序列的过程。反序列化是字节序列恢复为对象的过程。对象的序列化主要有两种用途：对象的持久化，即把对象转换成字节序列后保存到文件中；对象数据的网络传送。除了上面两点， hive的序列化的作用还包括：Hive的反序列化是对key/value反序列化成hive table的每个

Apache Kylin（麒麟）是由eBay开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。底层存储用的是HBase，数据输入与cube building用的是Hive，中间数据存储用的是HDFS。1.创建project进入kylin操作界面，如果没有project可以创建，kylin里面可以创建多个project，有效的把各

Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的数据库查询完成，而

数据库安全是数据库中最为重要的环节，只有确保了数据库中数据的安全，才能够更好的发挥数据库的功能，本文将为大家介绍一种很好的数据库加密方法，即哈希加密。 导读：MySQL数据库加密的方法有很多种，不同的加密方法对应着不同的情况，本文介绍的数据库加密方法----哈希加密，对数据库保存的敏感数据有较好的数据库保护性。哈希加密如果数据库保存了敏感的数据，如银行卡密码

如何在一台Linux服务器上查找JDK的安装路径呢？ 有那些方法可以查找定位JDK的安装路径？是否有一些局限性呢？ 下面总结了一下如何查找JDK安装路径的方法. 1：echo $JAVA_HOME使用$JAVA_HOME的话能定位JDK的安装路径的前提是配置了环境变量$JAVA_HOME，否则如下所示，根本定位不到JDK的安装路径[root@localhost ~]

用mysql实现类似于oracle dblink的功能 首先看看有没有federated 引擎。 mysql> show engines; +------------+----------+----------------------------------------------------------------+ | Engine     | Support  | Comme

1.Date  ——>  String    使用的函数：DATE_FORMAT(date,format)     date:需要转换的日期       format:格式化的样式   format样式整理：        年：  %Y  显示四位 ： 2015            %y    只显示后两位  ：15        月：  %M 月份的英文显示：O

MySQL字符集多种多样，下面为您列举了其中三种最常见的MySQL字符集查看方法，该方法供您参考，希望对您学习MySQL数据库能有所启迪。一、查看MySQL数据库服务器和数据库MySQL字符集。mysql> show variables like '%char%';  +--------------------------+-------------------------------

1.MySQL基础        MySQL是一个开放源代码的关系数据库管理系统。原开发者为瑞典的MySQL AB公司，最早是在2001年MySQL3.23进入到管理员的视野并在之后获得广泛的应用。 2008年MySQL公司被Sun公司收购并发布了首个收购之后的版本MySQL5.1，该版本引入分区、基于行复制以及plugin API。移除了原有的BerkeyDB引擎，同时，Or

运行时数据区域　　Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程的启动而存在，有些区域则是依赖用户线程的启动和结束而建立和销毁。根据《Java虚拟机规范（第2版）》的规定，Java虚拟机所管理的内存将会包括以下几个运行时数据区域，如下图所示：

1.MapReduce架构(MRv1)MapReduce 也采用了 Master/Slave（M/S）架构。它主要由以下几个组件组成 ：Client、JobTracker、 TaskTracker 和 Task。下面分别对 这几个组件进行介绍。 　　（1）Client　　 用户编写的MapReduce程序通过Client提交到JobTracker端 ；同时，用户可通过Clien

1.Hive简介2.Hive Sql3.Hive的三种Join方式4.Hive事务使用建议5.Hive 窗口函数、分析函数6.hive与hbase的区别与联系1.Hive简介Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理。提供以下功能：（1）它提供了一系列的工具，可用来对数据进行提取/转化/加载（E

1.Storm框架1、一个Storm集群的基本组件2、Tuple(元组)3、Streams （流）4、Spouts5、Bolts6、Topologies（拓扑）7、Stream groupings 流分组2.守护进程Storm ClusterStorm是基于数据流的实时处理系统，提供了大吞吐量的实时计算能力。通过数据入口获取每条到

排序大的分类可以分为两种：内排序和外排序。在排序过程中，全部记录存放在内存，则称为内排序，如果排序过程中需要使用外存，则称为外排序。下面讲的排序都是属于内排序。　　内排序有可以分为以下几类：　　(1)、插入排序：直接插入排序、二分法插入排序、希尔排序。　　(2)、选择排序：简单选择排序、堆排序。　　(3)、交换排序：冒泡排序、快速排序。　　(4)、归并排序　　(5)、基数排

一. 介绍      HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。       HBase以表的形式存储数据。表有...

学完了Map的全部内容，我们再回头开开Map的框架图。 第1部分 Map概括Map 是“键值对”映射的抽象接口。AbstractMap 实现了Map中的绝大部分函数接口。它减少了“Map的实现类”的重复编码。SortedMap 有序的“键值对”映射接口。NavigableMap 是继承于SortedMap的，支持导航函数的接口。HashMap,

当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技巧是云计算的根基,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。     

简介：Sqluldr2：专业用于大数据量导出工具之一，效率比普通导出快70%。 ( Sqlldr：专业用于导入的工具之一，请注意两个工具的区别。),在使用时,最好用磁盘写入速度快，网络好，网速快的做。 内部实现：[sql] view plain copy #include   #include "sqluldr2.

收集oracle统计信息统计信息主要是描述数据库中表，索引的大小，规模，数据分布状况等的一类信息。比如，表的行数，块数，平均每行的大小，索引的leaf blocks，索引字段的行数，不同值的大小等，都属于统计信息。CBO正是根据这些统计信息数据，计算出不同访问路径下，不同join 方式下，各种计划的成本，最后选择出成本最小的计划。统计信息是存放在数据字段表中的，如tab$。一般我们

范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF）

在使用多线程的时候有时候我们会使用 java.util.concurrent.Executors的线程池，当多个线程异步执行的时候，我们往往不好判断是否线程池中所有的子线程都已经执行完毕，但有时候这种判断却很有用，例如我有个方法的功能是往一个文件异步地写入内容，我需要在所有的子线程写入完毕后在文件末尾写“---END---”及关闭文件流等，这个时候我就需要某个标志位可以告诉我是否线程池中所有的子线

线程的同步是保证多线程安全访问竞争资源的一种手段。线程的同步是Java多线程编程的难点，往往开发者搞不清楚什么是竞争资源、什么时候需要考虑同步，怎么同步等等问题，当然，这些问题没有很明确的答案，但有些原则问题需要考虑，是否有竞争资源被同时改动的问题？ 对于同步，在具体的Java代码中需要完成一下两个操作：把竞争访问的资源标识为private；同步哪些修改变量

在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav，这个问题折腾了我很久，后来找到方法解决。描述一下:电脑是win7的64位

简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实

传统应用程序设计中所说的依赖一般指“类之间的关系”，那先让我们复习一下类之间的关系：     泛化：表示类与类之间的继承关系、接口与接口之间的继承关系；     实现：表示类对接口的实现；     依赖：当类与类之间有使用关系时就属于依赖关系，不同于关联关系，依赖不具有“拥有关系”，而是一种“相识关系”，只在某个特定地方（比如某个方法体内）才有关系。     关联：