- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 用beeline连接SparkSQL
1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性vi $SPARK_HOME/conf/hive-site.xml hive.metastore.uris thrift://master:9083 Thrift URI for the remote metastore. Used b
2016-03-28 16:49:43
15318
原创 使用hive查询把访问网络流量会话化
《Hive编程指南》最后一章的Outbrain案例中，有一个把访问网络流量会话化的简单实现，但按照它的查询出来的结果是错的，于是自己重写了一个。一、问题提出（摘自书中原文） 为了分析网络流量，我们常常希望能够基于各种各样的标准来测量热度。一种方法就是将用户行为分解到会话中，一次会话代表单一的一次“使用”所包含的一系列操作。一个用户在一天内或者一个月中的某几天可以多次访问某
2016-03-28 11:40:17
3449
原创 Spark 安装配置实验
安装前准备hadoop 2.7.2 安装配置，参考http://blog.csdn.net/wzy0623/article/details/50681554安装spark1. 下载spark安装包，地址：http://spark.apache.org/downloads.html下载页面如图1所示图12. 解压缩tar -zxvf spark-1.6.0
2016-03-21 15:19:30
3954
原创 利用sqoop将hive和mysql数据互导简单实验
1. Hadoop、Hive、MySQL安装（略）2. 下载sqoophttp://www.apache.org/dyn/closer.lua/sqoop/1.4.63. 解压tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz4. 建立软连接ln -s sqoop-1.4.6.bin__hadoop-2.0.
2016-03-18 11:16:22
5472
原创 kettle 5.1.0 连接 Hadoop hive 2 (hive 1.2.1)
1. 配置HiveServer2，在hive-site.xml中添加如下的属性 hive.server2.thrift.bind.host 192.168.56.101 Bind host on which to run the HiveServer2 Thrift service. hive.server2.thrift.port 1
2016-03-16 10:53:55
14072
2
原创 hive动态分区插入实验
实验目的1. 验证对分区表进行动态分区插入功能2. 验证是否可以使用load进行动态分区插入实验步骤1. 在本地文件/home/grid/a.txt中写入以下4行数据：aaa,US,CAaaa,US,CBbbb,CA,BBbbb,CA,BC2. 建立非分区表并加载数据CREATE TABLE t1 (name STRING, cty STRING,
2016-03-07 11:15:48
10160
1
原创 hive 表数据加载、表删除试验
1. 非分区表（1）load 加载数据本地文本文件a.txt中有一行'aaa'，执行下面的命令。CREATE TABLE t1 (name STRING);LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;SELECT * FROM t1;dfs -ls /user/hive/warehouse/test.db/t1;
2016-03-04 17:14:51
4788
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人