2016年07月_数据社

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月

原创 Spark的这些事<一>——Windows下spark开发环境搭建

一、首先准备需要安装的软件 scala-2.10.4 下载地址：http://www.scala-lang.org/download/2.10.4.html scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64 下载地址：http://scala-ide.org/ spark-1.6.2-bin-hadoop2.6 下载地址：http://spar

2016-07-18 19:09:31 2270

原创 Vertica的这些事(三)—— 谈谈vertica的flex table

Json格式对于现在所有的软件开发者都不陌生，很多数据格式都用他来存储，我们来看一下vertica是怎么处理json数据的。这就是vertica的flex table！首先创建一个json文件：{"name": "Everest", "type":"mountain", "height":29029, "hike_safety": 34.1}{"name": "Mt St Helens", "ty

2016-07-12 21:57:23 2613

原创 shell截取字符串

今天碰到一个问题，原shell写的是截取固定的长度，今天发现，文件名格式和之前的一样，但是长度不一致，之前截取固定长度的脚本就没有成功。所以就采用截取有特征的字符串，由于文件中带有标志符号"."，所以就截取它。file="abcdefg.verf.20160704"str1=`expr index $file '.'`echo ${$str1:7:str1-7-1}这样不管前面

2016-07-04 19:06:42 748

原创 Vertica的这些事(五)—— vertica优化

DELETE_VECTORS数据模型：1、规范化你的表2、使用核实的压缩格式表设计：1、使用分区2、定义主键外键3、默认的数字类型长度可能比实际需要的大。例如：NUMBERC 该类型默认的长度是38位，如果实际的长度比这个小，那你建表的时候最好加上适合的长度。4、对于一个True/False值，Boolean类型比char(1)类型和inte

2016-07-04 18:57:48 3830