wzy0623的专栏

数据库、数据仓库、大数据

用beeline连接SparkSQL

1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性 vi $SPARK_HOME/conf/hive-site.xml               hive.metastore.uris         thrift://master:9083       ...

2016-03-28 16:49:43

阅读数:7466

评论数:0

使用hive查询把访问网络流量会话化

《Hive编程指南》最后一章的Outbrain案例中,有一个把访问网络流量会话化的简单实现,但按照它的查询出来的结果是错的,于是自己重写了一个。 一、问题提出(摘自书中原文)         为了分析网络流量,我们常常希望能够基于各种各样的标准来测量热度。一种方法就是将用户行为分解到会话中,一次...

2016-03-28 11:40:17

阅读数:2229

评论数:0

Spark 安装配置实验

安装前准备 hadoop 2.7.2 安装配置,参考 http://blog.csdn.net/wzy0623/article/details/50681554 安装spark 1. 下载spark安装包,地址:http://spark.apache.org/downloads.html 下载页...

2016-03-21 15:19:30

阅读数:2108

评论数:0

利用sqoop将hive和mysql数据互导简单实验

1. Hadoop、Hive、MySQL安装(略) 2. 下载sqoop http://www.apache.org/dyn/closer.lua/sqoop/1.4.6 3. 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4...

2016-03-18 11:16:22

阅读数:4127

评论数:0

kettle 5.1.0 连接 Hadoop hive 2 (hive 1.2.1)

1. 配置HiveServer2,在hive-site.xml中添加如下的属性     hive.server2.thrift.bind.host     192.168.56.101     Bind host on which to run the HiveServer2 Thrif...

2016-03-16 10:53:55

阅读数:8279

评论数:2

hive动态分区插入实验

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC 2. 建立非分...

2016-03-07 11:15:48

阅读数:6075

评论数:1

hive 表数据加载、表删除试验

1. 非分区表 (1)load 加载数据 本地文本文件a.txt中有一行'aaa',执行下面的命令。 CREATE TABLE t1 (name STRING); LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1; SELECT ...

2016-03-04 17:14:51

阅读数:3465

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭