1.HIVE的安装
1.1 解压缩、设置环境变量,略
1.2 重命名文件
mv hive-default.xml.template hive-site.xml
mv hive-env.sh.template hive-env.sh
1.3 修改文件内容
修改${HADOOP_HOME}/conf/hadoop-env.sh中的HADOOP_CLASSPATH值,见ppt
修改${HIVE_HOME}/bin/hive-config.sh,增加三行记录,见ppt
1.4 启动,先启动hadoop,执行${HIVE_HOME}/bin/hive
(使用的metastore是derby,只能独占使用)
2.使用mysql作为hive的metastore
2.1把mysql-connector-xxx.jar复制到${HIVE_HOME}/lib下
2.2修改配置文件${HIVE_HOME}/conf/hive-site.xml,具体见ppt
2.3在mysql中创建数据库,授权%可以访问,把mysql所在机器的防火墙关闭。
2.4启动,先启动hadoop,执行${HIVE_HOME}/bin/hive
3.操作内部表
3.1创建内部表
create table inner_table(key string);
3.2加载数据到内部表
load data local inpath '/root/Downloads/hive/inner_table.dat' into table inner_table;
4.操作分区表
4.1创建分区表
create table partition_table(rectime string, msisdn string) partitioned by (daytime string, city string) row format delimited fields terminated by '\t';
4.2加载数据到分区表
load data local inpath '/root/Downloads/hive/partition_table.dat' into table partition_table partition(daytime='2013-08-12', city='shanghai');
5.操作外部表
外部表指的是表的数据存放在hive管辖范围(参数hive.metastore.warehouse.dir指定的路径)之外。
5.1创建外部表
create external table et(a string, b string) row format delimited fields terminated by '\t' location 'hdfs://itcast221:9000/one';
1.1 解压缩、设置环境变量,略
1.2 重命名文件
mv hive-default.xml.template hive-site.xml
mv hive-env.sh.template hive-env.sh
1.3 修改文件内容
修改${HADOOP_HOME}/conf/hadoop-env.sh中的HADOOP_CLASSPATH值,见ppt
修改${HIVE_HOME}/bin/hive-config.sh,增加三行记录,见ppt
1.4 启动,先启动hadoop,执行${HIVE_HOME}/bin/hive
(使用的metastore是derby,只能独占使用)
2.使用mysql作为hive的metastore
2.1把mysql-connector-xxx.jar复制到${HIVE_HOME}/lib下
2.2修改配置文件${HIVE_HOME}/conf/hive-site.xml,具体见ppt
2.3在mysql中创建数据库,授权%可以访问,把mysql所在机器的防火墙关闭。
2.4启动,先启动hadoop,执行${HIVE_HOME}/bin/hive
3.操作内部表
3.1创建内部表
create table inner_table(key string);
3.2加载数据到内部表
load data local inpath '/root/Downloads/hive/inner_table.dat' into table inner_table;
4.操作分区表
4.1创建分区表
create table partition_table(rectime string, msisdn string) partitioned by (daytime string, city string) row format delimited fields terminated by '\t';
4.2加载数据到分区表
load data local inpath '/root/Downloads/hive/partition_table.dat' into table partition_table partition(daytime='2013-08-12', city='shanghai');
5.操作外部表
外部表指的是表的数据存放在hive管辖范围(参数hive.metastore.warehouse.dir指定的路径)之外。
5.1创建外部表
create external table et(a string, b string) row format delimited fields terminated by '\t' location 'hdfs://itcast221:9000/one';