Hadoop
邹中凡
这个作者很懒,什么都没留下…
展开
-
Hbase入门
一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root 需要安装JDK1.6或者以上版本。 这里安装的JDK为jdk1.7.0_75,并配置好了环境变量。二,安装Hbase 1,到http://archive.apache.org/dist/hbase/ 下载对应版本的Hbase。这原创 2015-03-12 08:36:57 · 1421 阅读 · 0 评论 -
Hive0.13+Mysql5.6.23单机安装
一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6二,安装Mysql 1,到http://dev.mysql.com/downloads/repo/yum/ 下载mysql-community-release-el6-5.noarch.rpm原创 2015-02-26 17:54:33 · 1259 阅读 · 0 评论 -
Hadoop常见错误之HDFS
下面小编整理在工作中遇到的问题,以及解决方法。 1,Datanode启动失败错误 现象 在启动Datanode时,/var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-cdh-node12.grc.log.out日志文件中有如下错误:Caught exception while scanning /data/dfs/dn/current. Will thr原创 2015-08-13 14:26:48 · 12173 阅读 · 1 评论 -
开源大数据查询分析引擎现状
注:此文章转载至http://www.36dsj.com/archives/30017原文如下:引言大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigt转载 2015-07-13 14:56:33 · 1118 阅读 · 0 评论 -
Cloudera Manager5配置管理之配置Namenode 的HA
此文章介绍Cloudera Manager配置Hive Metastore 1,环境信息 2,配置Namenode 的HA1,环境信息 基于 Cloudera Manager5安装部署CDH5.X 文章的环境信息。2,配置Namenode 的HA 2.1,进入HDFS界面,点击“启用High Availability” 2.2,输入NameService名称,这里设置为:nameserv原创 2015-06-04 10:52:05 · 11713 阅读 · 0 评论 -
Cloudera Manager5配置管理之安装Spark的Standalone
此文章介绍Cloudera Manager安装Spark的Standalone模式 1,环境信息 2,安装Spark的Standalone1,环境信息 基于 Cloudera Manager5安装部署CDH5.X 文章的环境信息。2,安装Spark的Standalone模式 2.1 在Cloudera Manager中,点击“添加服务”。 2.2,添加服务向导-选择您要添加的服务类型。选原创 2015-06-04 11:11:24 · 6464 阅读 · 1 评论 -
Cloudera Manager5之安装部署CDH5.X
本文章结束安装Cloudera Manager,并部署CDH5.X。主要分如下章节介绍。1,安装准备 2,安装Clouder Manager 3,部署CDH5.X 1,安装准备 1.1 安装物理部署图 物理机硬件信息 2台HP ProLiant DL388 Gen9服务器。每台服务器的配置信息如下: - 服务器型号:HP ProLiant DL388 Gen9 - CPU原创 2015-04-01 11:41:59 · 8464 阅读 · 0 评论 -
Hive常见问题汇总
这里小编汇集,使用Hive时遇到的常见问题。 1,执行#hive命令进入Hive CLI时报如下错误:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHi原创 2015-04-02 09:58:49 · 51677 阅读 · 0 评论 -
Hadoop2.6伪分布式安装
一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root二,安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1,下载jd原创 2015-02-26 17:18:22 · 2673 阅读 · 0 评论 -
ClouderaManager修改集群的IP
方法的主要思想是:由于cloudera-manager在安装的时候,会配置相应的数据库,该数据库是用来存储集群的所有的配置信息。 cloudera-mamanger每次启动的时候,都会从数据库中读取这些配置信息,因此想修改主机的ip,只需要修改存在数据库中的主机的ip即可。 具体方法 (1)首先在安装cloudera-manager的主机上,停止所有的cloudera管理进程 servi原创 2016-08-15 22:44:10 · 1843 阅读 · 0 评论