Hadoop
梦里断魂
人之所以能,是因为相信能。
展开
-
Hadoop安装和配置
一、安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.241.128 主机名:admin 安装用户:root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1,下转载 2016-11-17 11:49:10 · 552 阅读 · 0 评论 -
hive与hbase的联系与区别
两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。Apache HBase是一种Key/Value系统,它运行在HDF转载 2017-08-02 10:50:37 · 506 阅读 · 0 评论 -
Hadoop项目实战---日志分析
1、项目描述 通过对apache common日志进行分析 2、数据情况 每行记录有5部分组成: 1.访问ip 2.访问时间 3.访问资源【跟着两个访问的Url】 4.访问状态 5.本次流量 截取部分数据如下:27.19.74.143 - - [30/May/2013:17:38:21 +0800] "GET /static/image/smiley/default/shy.gif转载 2017-07-31 16:49:18 · 1003 阅读 · 0 评论 -
NoClassDefFoundError 集合
很多时候,我们只知道缺少什么类,但并不知道在哪个包里面,这里罗列了一些Java.lang.NoClassDefFoundError情况,请参考:com/google/common/base/Preconditions guava-r09.jarorg/apache/commons/math3/primes/Primes commons-math3-3.2.jarorg/apache/commo转载 2017-06-05 14:25:35 · 345 阅读 · 0 评论 -
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
修改 public static boolean access(String path, AccessRight desiredAccess) throws IOException { return true; }转载 2017-06-05 14:27:28 · 1225 阅读 · 1 评论 -
各hbase版本对hadoop各版本的支持情况
HadoopThe following table summarizes the versions of Hadoop supported with each version of Hbase. Based on the version of HBase, you should select the most appropriate version of Hadoop. You can use Ap转载 2017-05-19 16:09:25 · 1911 阅读 · 0 评论 -
Hadoop 2.6.0 POM.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xs转载 2017-05-18 15:36:29 · 664 阅读 · 0 评论 -
(转载)hadoop datanode启动不起来
hadoop datanode启动不起来转自:http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均转载 2017-05-18 11:42:38 · 299 阅读 · 0 评论 -
hadoop 默认端口说明
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper。 组件 Daemon 端口 配置 说明HDFS DataNode 50010转载 2017-05-12 11:52:48 · 2829 阅读 · 0 评论 -
HDFS格式化报错
报错信息:SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: zz.chen: zz.chen我的解决方案:在/etc/hosts文件里加一行 : 127.0.0.1 zz.chen转自:http://blog.csdn.net/grantxx/a转载 2016-12-14 16:37:06 · 982 阅读 · 0 评论 -
Hadoop 简单介绍
一、Hadoop要解决的两个问题: 首先我们撇开Hadoop的历史、概念,我们先了解Hadoop是用来干啥的。 Hadoop解决两个问题: 1.海量数据存储 HDFS 2.海量的数据分析 MapReduce 二、Hadoop历史: 2002年的apache项目Nutch 2003年Google发表了关于GFS的论文 2004年Nutch的开发者开发了NDFS转载 2016-11-15 16:33:23 · 378 阅读 · 0 评论