- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Hive 安装
1 、下载Hive-0.11.0http://apache.cs.utah.edu/hive/hive-0.11.0/2、解压安装 Hive原则上可以安装在集群上的任何一台机器上面，但是考虑到 master节点的负荷比较大，我们选择一台机器性能较好的datanode来安装hive。在我们的集群中选择cloud003来安装hive。另外，在我
2014-05-22 19:24:42
12965
转载 Hadoop 的安全机制
1. 基于角色的授权（Role based authorization）确保职责的分离限制功能性的访问2. 管理和配置（Admin and Configuration）基于角色的管理可配置的节点和集群参数3. 身份认证框架（Authentication framework）认证节点认证客户端应用程序（为了访问集群和MapReduce任务）
2014-05-21 23:12:21
9260
原创 hive 客户端调用脚本无法处理中文问题
export LANG=en_US.UTF-8export LC_CTYPE=en_US.UTF-8export LC_NUMERIC=en_US.UTF-8export LC_TIME=en_US.UTF-8export LC_COLLATE=en_US.UTF-8export LC_MONETARY=en_US.UTF-8export LC_MESSAGES=en_US
2014-05-21 16:33:47
6410
原创 Vim 配置
vi ~/.vimrc 配置set wildmenuset backspace=2set pastetoggle=filetype onfiletype plugin onfiletype indent on
2014-05-21 15:58:08
5108
转载 hive从查询中获取数据插入到表或动态分区
Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。INSERT OVERWRITE TABLE employeesPARTITION (country = '中国
2014-05-20 12:20:29
4634
转载 Hive 的 自定义 Inputformat
Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以简单的示例演示多个字符作为分隔符的实现。[一]、开发环境Hadoop 2.2.0Hive 0.12.0
2014-05-19 15:09:56
6334
转载 hive 的 简单操作语句
简单的创建表create table table_name ( id int, dtDontQuery string, name string) 创建有分区的表create table table_name ( id int, dtD
2014-05-15 17:51:21
5141
转载 Hadoop2 基本配置教程
本文为安装指导，在安装过程中，我们可以注意一下问题：1.当有多个HDFS集群同时工作时，用户如果不写集群名称，那么默认使用哪个？通过那个文件来进行配置？2.NameNode、DataNode、JournalNode等存放数据的默认公共目录在什么位置？3.那个文件可以配置ZooKeeper集群的地址和端口，配置过程中有限制？4.DataNode存储block的副本数量有没有数量限
2014-05-06 11:59:31
5785
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人