hwaholee-CSDN博客

原创 Hive基本环境搭建(附赠Java和Hadoop的环境搭建)

Hive依赖于Hadoop，而Hadoop依赖于Java，所以第一步得先搭建Java环境。**JAVA环境的搭建**1.先用yum检测一下是否已经安装了java：yum list installed | grep java2.如果有，可以选择卸载再装，或者跳过安装步骤，卸载的命令是：yum -y remove java*3.查一下yum库里的Java安装包：yum -y list java*4.自行

2017-02-15 14:10:53 411

原创 HiveQL：索引

当逻辑分区实际上太多太细而几乎无法使用时，建立索引也就成为分区的另一个选择。建立索引可以帮助裁剪掉一张表的一些数据块，这样能够减少MapReduce的输入数据量。创建索引先创建一个employees表：hive> create table employees(name string,salary float,subordinates array<string>

2017-02-15 15:11:40 399

原创 HiveQL：视图

视图可以允许保存一个查询并想对待表一样对这个查询进行操作。使用视图来降低查询复杂度比如以下这个例子：hive> from(select * from people join carton (cart.people_id=people_id) where firstname='join') a select a.lastname where a.id=3;可以使用视图来变成下面这两条HiveQL

2017-02-15 15:04:59 895

原创 HiveQL：查询

SELECT…FROM语句select是SQL中的射影算子，from子句标识了从哪个表、视图或嵌套查询中选择记录：hive> select name,salary from employees;也可以写成，两者是等价的，但是下面这种写法在涉及到多个不同的表时会很有用：hive> select e.name,e.salary from employees e;用正则表达式来指定列：hive> sele

2017-02-15 14:59:44 541

原创 Hive命令行界面的一些变量、属性及常用命令

“$”后对应的是Linux的Shell命令，“hive>”后对应的是CLI里的命令CLI选项–help查看hive的参数$hive --help --service cliusage: hive -d,--define <key=value> Variable subsitution to apply to hive

2017-02-15 14:47:51 1699

原创 HiveQL：数据操作

通过导入本地文件来装载数据（overwrite关键字表示重写，即会覆盖掉原来的数据，如果没有overwrite，或者用into关键字来替换它的话，数据将以追加的方式写入）：hive> load data local inpath '/usr/my/database/Chinese-employees'overwrite into table employees;通过查询语句来向表中插入数据：hiv

2017-02-15 14:39:32 351

原创 HiveQL：数据定义

Hive中的数据库创建数据库正常普通的创建：hive> create database financials;加判断的创建（如果数据库不存在才创建，防止抛出错误信息）：hive> create database if not exists financials;规定数据库存放位置的创建：hive> create database financials location '/my/database';

2017-02-15 14:19:51 367

原创 Fabric的安装及试用

Fabric 是什么？如 README 所说：Fabric 是一个 Python (2.5-2.7) 的库和命令行工具，用来提高基于 SSH 的应用部署和系统管理效率。更具体地说，Fabric 是：一个让你通过命令行执行无参数 Python 函数的工具；一个让通过 SSH 执行 Shell 命令更加容易、更符合 Python 风格的命令库（建立于一个更低层次的库）。下面我们就来看看它

2017-02-15 12:52:04 1960

Leon的博客