2016年05月_axxbc123

原创【Hive十八】Hive QL中使用配置的变量

1. 使用set命令，设置参数 hive>set XYZ=abc hive>select * from t1 where line = '${hiveconf:XYZ}' 等价于 hive>set XYZ=’abc‘ hive>select * from t1 where line = ${hiveconf:XYZ} 2.以hive --hi...

2016-05-27 13:21:40 200

原创【Linux命令七】tar命令

1. 创建tar包，对目录打包 tar czvf localdir.tar.gz localdir 2. 不解压的情况下，查看tar.gz包的内容 tar ft localdir.tar.gz 注意ft是没有-的，这个跟jar ft abc.jar的格式一样 ...

2016-05-26 17:57:09 236

原创【Linux命令六】CP命令

建立如下的目录结构： .└── d1 ├── d10 │ └── scheduler-center.log └── result.json 1. 执行如下命令 cp d1 d2 那么报错，cp: 略过目录"d1"，并且当前目录下并没有d2目录 2. cp -r d1 d2 ...

2016-05-26 07:52:47 227

原创【Linux命令五】SCP命令

SCP命令可以将本机的一个文件复制到远程指定目录下，也可以将本机的一个目录递归复制到远程的指定目录下，远程递归复制很重要，比如对于hadoop集群，在一台机器上配置完成，需要将整个目录复制到远程各个节点 scp -r localdir hadoop@localhost:/home/hadoop/learninglinux/ddd 以上命令将本机的localdir递归复制到...

2016-05-26 07:45:34 726

原创【Linux命令四】SSH命令

ssh命令在分布式集群环境下很重要，可以用于在一台机器XYZ上通过将要执行的shell脚本分发各个节点机器，然后通过ssh命令，在XYZ这台机器上，远程执行各个节点上的这个脚本， 1. 如果要远程执行的命令很多很长，可以写一个脚本，然后首先分发这个脚本，再执行这个脚本ssh 可以借助for循环依次执行下面的语句,从而达到在各个节点执行a.sh的目的 REMOTE_HOST=local...

2016-05-26 07:40:57 260

原创【Hive十七】Hive Thrift Server HA配置

<property> <name>hive.server2.support.dynamic.service.discovery</name> <value>true</value> </property> <property> <name>hive.server

2016-05-24 11:14:19 427

原创【Hive十六】Hive SQL Standard Based Hive Authorization

启用授权选项，默认是false，后面的授权操作基于此选项为true进行set hive.security.authorization.enabled=true========================基于用户的授权===============================获取当前用户set system:user.name授权在指定库下面删除表grant drop on database...

2016-05-24 10:57:39 258

原创【Hive十五】Hive IO相关

1. Hadoop配置压缩算法(Hadoop的配置属性，Hive读取core-site.xml文件中的配置，可以再hive-site.xml中配置以覆盖Hadoop中的配置)key: io.compression.codecsvalue:org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCode...

2016-05-24 10:10:28 383

bit1129的博客