2018年01月_bitcarmanlee

原创 kylin 系列介绍

kylin入门到实战：入门 http://bigdataer.net/?p=292kylin入门到实战：cube详述 http://bigdataer.net/?p=306kylin从入门到实战：具体案例 http://bigdataer.net/?p=308Apache Kylin优化之—Cube的高级设置： http://lxw1234.com/archives/2017/04/

2018-01-30 09:26:26 703

原创 Spark项目 error while loading ＜root＞, error in opening zip file

IDE中的一个spark项目，从git上重新拉取代码以后，报了以下一堆错误：error: error while loading , error in opening zip file[ERROR] error: error while loading , error in opening zip fileerror: scala.reflect.internal.MissingReq

2018-01-26 11:53:10 1130

原创在python中画正态分布图像

1.正态分布简介正态分布(normal distribtution)又叫做高斯分布(Gaussian distribution)，是一个非常重要也非常常见的连续概率分布。正态分布大家也都非常熟悉，下面做一些简单的介绍。假设随机变量X服从一个位置参数为\mu、尺度参数为\sigma的正态分布，则可以记为： {\displaystyle X\sim N(\mu ,\sigma ^{2})}

2018-01-24 18:06:08 90993 7

原创图像处理中的直方图与均衡化

1.什么是直方图(histogram)在统计学中，直方图(Histogram)是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量。一般来说用横轴表示数据类型，纵轴表示分布情况。直方图是数值数据分布的精确图形表示。这是一个连续变量（定量变量）的概率分布的估计，并且被卡尔·皮尔逊（Karl Pearson）首先引入。它是一种条形图。为

2018-01-24 09:43:18 11138 1

原创图像中的掩膜(Mask)是什么

在图像处理中，经常会碰到掩膜(Mask)这个词。那么这个词到底是什么意思呢？下面来简单解释一下。1.什么是掩膜首先我们从物理的角度来看看mask到底是什么过程。在半导体制造中，许多芯片工艺步骤采用光刻技术，用于这些步骤的图形“底片”称为掩膜（也称作“掩模”），其作用是：在硅片上选定的区域中对一个不透明的图形模板遮盖，继而下面的腐蚀或扩散将只影响选定的区域以外的区域。图像掩膜与

2018-01-22 18:11:46 139745 14

原创 hive中的集合操作函数

map类型大小：sizearray类型大小：size判断元素数组是否包含元素：array_contains获取map中所有value集合获取map中所有key集合数组排序

2018-01-18 10:26:46 7044

原创 java.lang.UnsupportedClassVersionError : Unsupported major.minor version 52.0

在spark-shell中，遇到了如下的错误：Caused by: java.lang.UnsupportedClassVersionError: xxx/xxx/xxx/xxx : Unsupported major.minor version 52.0 at java.lang.ClassLoader.defineClass1(Native Method) at java.la

2018-01-11 16:30:21 2518 1

原创 Hbase KeyValue结构详解

1综述Hbase是面向列的存储结构，而实际存储单元里存储的都是KeyValue结构。在看Hbase的API中，发现Hbase的API中就有KeyValue类，这个KeyValue类就是Hbase中数据存储的基本类型。那么这个KeyValue里到底包含哪些内容了？为了方便理解，特意为大家来剖析一下KeyValue类的结构。2.KeyValue类源码首先为了从大体上了解KeyValue

2018-01-05 12:18:33 9415 2

bitcarmanlee的博客