Hadoop
文章平均质量分 90
slimina
这个作者很懒,什么都没留下…
展开
-
Hadoop2.2.0多节点分布式安装及测试
我用的linux系统是ubuntu 12.04 LTS server版(就是没有桌面显示的版本)。 虚拟机用的是VMWare Workstation10,ssh客户端是开源的putty,还有ftp客户端软件是cuteFTP(虽然可以在linux系统里用vim对文件进行编辑修改,但我觉得有客户端直接在windows系统里修改文件比较方便和高效)。 tomcat版本是6.0.29,jdk版本是1.转载 2014-02-27 08:49:31 · 1101 阅读 · 0 评论 -
Hive 安装及测试三
在使用JDBC开发Hive程序时,必须首先开启Hive的远程服务接口。HiveServer本身存在很多问题(比如:安全性、并发性等);针对这些问题,Hive0.11.0版本提供了一个全新的服务:HiveServer2,这个很好的解决HiveServer存在的安全性、并发性等问题。原创 2015-10-16 09:51:25 · 1398 阅读 · 0 评论 -
Hive 安装及测试一
前几节演示了hadoop以及hbase的集群安装和简单实例,下面我们说一下hadoop的成员hive数据仓库的安装配置,及使用实例。hive是以及hadoop之上的,所以我们需要在hadoop的环境下,安装配置hive。原创 2015-10-16 09:49:47 · 1122 阅读 · 0 评论 -
hadoop2高可用集群配置安装
上一节演示了 hadoop2集群安装和测试 其中namenode节点是单点的,一旦namenode宕机,服务将不可使用。本节使用zookeeper配置hadoop namenode的可用集群,并使用yarn对hadoop提供统一的资源管理和调度。原创 2015-10-06 13:41:15 · 1195 阅读 · 0 评论 -
HBase数据集群配置安装
基于上一节hadoop2高可用集群配置安装,下面我们来配置安装hbase数据库。原创 2015-10-06 13:42:54 · 1003 阅读 · 0 评论 -
HBase Java API Demo
下面我们演示一下通过java api的方式操作hbase的数据库表。原创 2015-10-06 13:43:32 · 5697 阅读 · 4 评论 -
Sqoop安装配置及hive导入
Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。原创 2015-10-18 15:12:28 · 4602 阅读 · 0 评论 -
hadoop2集群安装和测试之环境配置
通过配置hadoop2集群,一个namenode,多个datanode节点,并通过一个demo对Hadoop2尝试,这里不牵扯理论知识,想了解理论知识的,可以去百度。使用hadoop版本2.6.0,操作系统centos。原创 2015-09-27 09:10:26 · 741 阅读 · 0 评论 -
hadoop2集群安装和测试之demo测试
demo实现如下功能:对tomcat的访问日志,统计其客户端IP的访问次数。原创 2015-09-27 09:44:45 · 1064 阅读 · 0 评论 -
Hadoop和HBase自带集群监控编程
说到对Hadoop和HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的。玩的深一些的,会用zenoss之类的。这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细。毕竟是第三方的监控,即便Hadoop自带了ganglia的接口,也还是觉得不够。其实Hadoop本身是带有监控接口的,各转载 2014-02-27 08:47:49 · 1412 阅读 · 0 评论 -
hadoop2集群安装和测试之软件安装配置
安装配置jdk,以及hadoop2原创 2015-09-27 09:22:53 · 657 阅读 · 0 评论 -
hadoop2集群安装和测试之window开发环境
为了方便在window环境开发调试mapreduce,配置eclipse hadoop插件环境。原创 2015-09-27 09:32:58 · 1303 阅读 · 0 评论 -
hadoop2.2.0源代码编译
一、环境说明虚拟软件:VMware Workstation 10虚拟机配置:RHEL Server release 6.5 (Santiago) 2.6.32-431.el6.x86_64cpu:4核心,内存:4G,硬盘:50G二、前提条件:1:将rhel6.5的iso文件作为yum源2:hadoop-2.2.0-src.tar.gz转载 2014-03-01 21:40:34 · 790 阅读 · 0 评论 -
Hive 安装及测试二
上一节我们演示了hive的安装,下面我们通过命令行的方式演示一下hive的应用。原创 2015-10-16 09:50:43 · 977 阅读 · 0 评论