自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

  • 博客(7)
  • 论坛 (3)

原创 用beeline连接SparkSQL

1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性vi $SPARK_HOME/conf/hive-site.xml             hive.metastore.uris        thrift://master:9083        Thrift URI for the remote metastore. Used b

2016-03-28 16:49:43 12896

原创 使用hive查询把访问网络流量会话化

《Hive编程指南》最后一章的Outbrain案例中,有一个把访问网络流量会话化的简单实现,但按照它的查询出来的结果是错的,于是自己重写了一个。一、问题提出(摘自书中原文)        为了分析网络流量,我们常常希望能够基于各种各样的标准来测量热度。一种方法就是将用户行为分解到会话中,一次会话代表单一的一次“使用”所包含的一系列操作。一个用户在一天内或者一个月中的某几天可以多次访问某

2016-03-28 11:40:17 2710

原创 Spark 安装配置实验

安装前准备hadoop 2.7.2 安装配置,参考http://blog.csdn.net/wzy0623/article/details/50681554安装spark1. 下载spark安装包,地址:http://spark.apache.org/downloads.html下载页面如图1所示图12. 解压缩tar -zxvf spark-1.6.0

2016-03-21 15:19:30 3033

原创 利用sqoop将hive和mysql数据互导简单实验

1. Hadoop、Hive、MySQL安装(略)2. 下载sqoophttp://www.apache.org/dyn/closer.lua/sqoop/1.4.63. 解压tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz4. 建立软连接ln -s sqoop-1.4.6.bin__hadoop-2.0.

2016-03-18 11:16:22 5057

原创 kettle 5.1.0 连接 Hadoop hive 2 (hive 1.2.1)

1. 配置HiveServer2,在hive-site.xml中添加如下的属性    hive.server2.thrift.bind.host    192.168.56.101    Bind host on which to run the HiveServer2 Thrift service.    hive.server2.thrift.port    1

2016-03-16 10:53:55 13124 2

原创 hive动态分区插入实验

实验目的1. 验证对分区表进行动态分区插入功能2. 验证是否可以使用load进行动态分区插入实验步骤1. 在本地文件/home/grid/a.txt中写入以下4行数据:aaa,US,CAaaa,US,CBbbb,CA,BBbbb,CA,BC2. 建立非分区表并加载数据CREATE TABLE t1 (name STRING, cty STRING,

2016-03-07 11:15:48 9205 1

原创 hive 表数据加载、表删除试验

1. 非分区表(1)load 加载数据本地文本文件a.txt中有一行'aaa',执行下面的命令。CREATE TABLE t1 (name STRING);LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;SELECT * FROM t1;dfs -ls /user/hive/warehouse/test.db/t1;

2016-03-04 17:14:51 4331

空空如也

wzy0623的留言板

发表于 2020-01-02 最后回复 2020-01-02

如何查看mysql使用的是哪个配置文件

发表于 2008-12-30 最后回复 2015-09-09

CSDN审核荣誉专家需要多长时间啊?

发表于 2007-07-03 最后回复 2007-07-04

空空如也
提示
确定要删除当前文章?
取消 删除