Hadoop
taoyuanforrest
这个作者很懒,什么都没留下…
展开
-
Hbase在eclipse中的编译(window环境)
1> 首先安装Cygwin,并把安装的bin目录添加到path环境变量,例如E:\Cygwin\bin 2> eclipse已经安装好了m2eclipse插件 3> check out source code: 从http://svn.apache.org/repos/asf/hbase/tags/0.94.0/, 所有的文件放在E:\hbase里 4> 打开eclipse, 选择原创 2012-11-01 21:41:32 · 2341 阅读 · 0 评论 -
Flume Interceptors
原文:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.2.0/ds_Flume/FlumeUserGuide.html Flume的拦截器可以修改消息内容,Flume提供了集中现成的拦截器,也可以自定义拦截器。拦截器可以组合在一起进行链式拦截。 现成的有: 1)Timestamp Interceptor This inte转载 2015-08-18 10:49:33 · 978 阅读 · 0 评论 -
Hadoop2.6单机伪分布式搭建
环境: 虚拟机:VirtualBox 操作系统:Ubuntu 12.04.5 LTS 1. 下载hadoop-2.6.0.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/ 2. linux下创建用户hadoop,后续所有相关的工作都以hadoop用户来做。 然后给hadoop用户加权限:原创 2015-04-12 21:44:52 · 702 阅读 · 0 评论 -
Hive top统计
需求: 用户访问web的top统计,比如用户1访问的top 3 web: web1, web2, web3 1) 准备测试数据/home/hadoop/hive-1.1.0/test/web.txt: user1,web1 user1,web2 user1,web2 user1,web3 user1,web3 user1,web3 user1,web4 user1,we原创 2015-04-17 09:11:32 · 3809 阅读 · 0 评论 -
Hbase单机搭建
前提条件:Hadoop已经搭建完毕并已启动,可参考http://blog.csdn.net/just_lion/article/details/45013079 1)从http://mirrors.cnnic.cn/apache/hbase/stable/下载 hbase-1.0.0-bin.tar.gz 2)解压后配置conf/hbase-env.sh 设置export JA原创 2015-04-20 14:29:46 · 637 阅读 · 0 评论 -
Hive安装
准备工作: Hadoop 2.6已安装完毕,具体可参考http://blog.csdn.net/just_lion/article/details/45013079 1) 下载 apache-hive-1.1.0-bin.tar.gz http://apache.fayea.com/hive/hive-1.1.0/ 启动Hive报错: Terminal initia原创 2015-04-13 10:37:33 · 801 阅读 · 0 评论 -
hive metadata mysql存储
1>首先在mysql上创建一个账户供hive用: grant all on hive.* to hive@'%' identified by 'hive' with grant option; 2>修改hive-site.xml,增加: javax.jdo.option.ConnectionURL jdbc:mysql://MYSQLIP:3306/hive?cre原创 2013-01-18 12:55:20 · 1485 阅读 · 0 评论 -
hbase-0.94.0与hive-0.9.0的整合
环境: Hadoop1.0.4, Hbase0.94.0, Zookeeper 3.4.3, 这三个组件已经在3台机器master, s1, s2上以集群方式安装并运行。 1> 下载hive-0.9.0.tar.gz 并解压到/opt/hadoop/hive-0.9.0 2> cd /opt/hadoop/hive-0.9.0/lib, 删除已有的hbase-0.92.0.jar 以及h原创 2012-11-06 21:54:17 · 1806 阅读 · 0 评论 -
Hortonworks搭建
一:安装前准备 1)查看系统兼容性 http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.0.0/bk_Installing_HDP_AMB/content/_determine_stack_compatibility.html 2)查看系统需求 http://docs.hortonworks.com/HDPDocuments/Ambari...翻译 2018-10-10 18:44:31 · 615 阅读 · 0 评论
分享