duncan

目标不会嫌来的太晚,坚持就一定会成功。

RStudio Server安装说明

2015-11-25 10:27:18

阅读数 15

评论数 0

RStudio Server安装说明

rstudio-server安装步骤:   一、安装R 1、安装R的core核心包:到R官网下载安装包并通过如下命令安装 rpm -ivh R-core-3.2.0-2.el6.x86_64.rpm  2、检测是否安装成功: R   查看是否正确进入R,然后在交互式控制台输入1 ...

2015-11-25 10:27:18

阅读数 38

评论数 0

spark sql基本使用方法介绍

spark中可以通过spark sql 直接查询hive或impala中的数据,   一、启动方法 /data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 1...

2015-11-23 19:22:43

阅读数 21

评论数 0

spark sql基本使用方法介绍

ecutor-memory 1g --executor-cores  2   注:/data/spark-1.4.0-bin-cdh4/为spark的安装路径   /data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项   --mas...

2015-11-23 19:22:43

阅读数 5

评论数 0

impala数据插入的方法详解

impala是一种内存计算的数据库,查询性能相比于hive官网称是快100倍,其向表中插入数据的方法如下:   1、insert into [slave12:21000] > insert into parquet_snappy select * from raw_...

2015-11-19 10:38:47

阅读数 152

评论数 0

impala数据插入的方法详解

_snappy select * from raw_text_data; Inserted 1000000000 rows in 181.98s   2、CTAS   [slave12:21000] > create table test_table  STORED...

2015-11-19 10:38:47

阅读数 45

评论数 0

hive 查看一个表的总文件大小方法

要查看一个hive表文件总大小时,我们可以通过一行脚本快速实现,其命令如下:   $ hadoop fs -ls  /user/hive/warehouse/test_table/ds=20151111|awk -F ' ' '{print $5}'|awk '{a+=$1}END{pri...

2015-11-12 18:02:17

阅读数 380

评论数 0

hive 查看一个表的总文件大小方法

awk '{a+=$1}END{print a}' 32347122009   这样可以省去自己相加,下面命令是列出该表的详细文件列表 hadoop fs -ls  /user/hive/warehouse/test_table/ds=20151111   方法二:查看该表总容量大小,...

2015-11-12 18:02:17

阅读数 37

评论数 0

mysql碎片整理方法

  对于一个表如果经常插入数据和删除数据,则会产生很多不连续的碎片,这样久而久之,这个表就会占用很大空间,但实际上表里面的记录数却很少,这样不但会浪费空间,并且查询速度也更慢,因此为了解决这个问题,可以有以下解决方案   1、myisam存储引擎清理碎片方法    OPTIMIZE T...

2015-11-10 11:55:44

阅读数 132

评论数 0

mysql碎片整理方法

少,这样不但会浪费空间,并且查询速度也更慢,因此为了解决这个问题,可以有以下解决方案   1、myisam存储引擎清理碎片方法    OPTIMIZE TABLE table_name    2、innodb存储引擎清理碎片方法   ALTER TABLE tablename EN...

2015-11-10 11:55:44

阅读数 9

评论数 0

shell中let和expr用法及性能比较

1、expr计算整数变量值 格式 :expr arg 例子:计算(2+3)×4的值1、分步计算,即先计算2+3,再对其和乘4s=`expr 2 + 3`expr $s \* 42、一步完成计算:expr  `expr 2 + 3 `  \* 4 –说明: 运算符号和参数之间...

2015-11-10 11:25:56

阅读数 143

评论数 0

shell中let和expr用法及性能比较

r  `expr 2 + 3 `  \* 4 –说明: 运算符号和参数之间要有空格分开; 通配符号(*),在作为乘法运算符时要用\、“”、‘’符号修饰 –:expr 3 \* 2         expr 3 “*” 2       expr 3 ‘*’ 2   `(反引号)与键盘上的...

2015-11-10 11:25:56

阅读数 16

评论数 0

shell dirname的使用

1、用途说明 dirname命令可以取给定路径的目录部分,如果给定的参数本身为一个目录,那就取当前目前的上一层目录。这个命令很少直接在shell命令行中使用,一般把它用在shell脚本中,用于取得脚本文件所在目录,然后将当前目录切换过去。   Usage: dirname NAME   ...

2015-11-09 19:11:40

阅读数 58

评论数 0

shell dirname的使用

2015-11-09 19:11:40

阅读数 22

评论数 0

hive 行转列和列转行的方法

一、行转列的使用 1、问题 hive如何将 a       b       1a       b       2a       b       3c       d       4c       d       5c       d       6 变为: a       b    ...

2015-11-06 19:56:05

阅读数 109

评论数 0

hive 行转列和列转行的方法

5c       d       6 变为: a       b       1,2,3c       d       4,5,6   2、数据 test.txt a       b       1 a       b       2 a       b       3 c     ...

2015-11-06 19:56:05

阅读数 95

评论数 0

hive array、map、struct使用

hive提供了复合数据类型:Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域aMaps(K-V对):访问指定域可以通过["指定域名称"]进行,例如...

2015-11-06 19:40:35

阅读数 12

评论数 0

hive array、map、struct使用

K-V对):访问指定域可以通过["指定域名称"]进行,例如,一个Map M包含了一个group-》gid的kv对,gid的值可以通过M['group']来获取Arrays:array中的数据为相同类型,例如,假如array A中元素['a','b','c'],则...

2015-11-06 19:40:35

阅读数 3

评论数 0

hive with查询用法及CTAS的使用

m src where key = '5') select * from q1;   -- from style with q1 as (select * from src where key= '5') from q1 select *;   -- cha...

2015-11-04 17:48:02

阅读数 48

评论数 0

hive with查询用法及CTAS的使用

hive 可以通过with查询来提高查询性能,因为先通过with语法将数据查询到内存,然后后面其它查询可以直接使用   with q1 as ( select key from src where key = '5') select * from q...

2015-11-04 17:48:02

阅读数 82

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭