Zhang's Wikipedia

玩就玩大的

SecondaryNameNode 的作用

尽量不要将 secondarynamede 和 namenode 放在同一台机器上。 NameNodeNameNode 主要是用来保存 HDFS 的元数据(metadata,描述数据的数据)信息,比如命名空间信息,块信息等。当它运行的时候,这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。

2016-09-25 14:55:17

阅读数:441

评论数:0

Exception in thread “main” java.lang.NoClassDefFoundError: com/google/common/base/Preconditions

问题原因,缺少 hadoop 提供的相关 jar 包,也即 guava-版本号.jar。 此 jar 包的位置,在 hadoop 目录下的/share/hadoop/tools/lib.参考: 1. Exception in thread “main” java.lang.NoClassDef...

2016-06-01 08:53:56

阅读数:13047

评论数:0

Storm 初步

Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, d...

2016-04-23 20:32:15

阅读数:358

评论数:0

hadoop 2.6 伪分布式的安装

我们选择安装的版本为: hadoop-2.6.0-cdh5.4.0.tar.gz。一、下载、解压二、修改配置文件配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路径下: (1)hadoop-env.shexport JAVA_HOME=/usr/local/jdk...

2016-03-18 19:42:57

阅读数:591

评论数:0

hive 操作(五)——常用内置函数

(1)查看全部的函数信息hive> # 键入tab (2)函数的帮助信息hive> decribe function substr; (3)count:统计计数 (4)instr(str, substr):返回子串在字符串的下标(以下标1开始计数),若返回为0...

2016-03-17 10:42:23

阅读数:3306

评论数:0

深入理解 Hive

1. 分区表

2016-03-17 09:16:55

阅读数:729

评论数:0

深入理解 MapReduce

(1)在 Map 阶段的分区阶段,分区的数目(单独一个 Mapper 任务的分支数),同时也决定了 Reducer 的数目;这一点在 Java 代码操作时显得尤为明显:job.setPartitionerClass(HashPartitioner.class); job.setNumReduceT...

2016-03-15 12:06:08

阅读数:503

评论数:0

Hadoop 基本数据类型

Text LongWritable NullWritable

2016-03-15 10:48:44

阅读数:1148

评论数:0

WordCount——MapReduce 实例入门

本文我们从一个简单的实例出发,统计文本中不同单词出现的次数,来讲述 MapReduce 的执行流程。考虑如下的文本信息(文件名为hello):hello you hello meMapReduce 工作流程 (1) [K1, V1]:将输入文本的每一行,解析成一个 key、value 对键:当前文...

2016-03-15 10:04:00

阅读数:659

评论数:0

MapReduce 原理及执行过程

(1)MapReduce 是一种分布式计算框架,由 Google 提出,主要用于搜索领域,以解决海量数据的计算问题。(分布式存储和分布式计算发轫于 Google 这样的公司是不足为奇的) (2)MapReduce 由两个阶段组成:Map (开始)和 Reduce(结束),用户只需实现 map() ...

2016-03-15 08:38:25

阅读数:3015

评论数:0

如何将 hadoop1.1.2/1.2.1 源码关联到 Eclipse

最为关键的一点,jre 的版本不宜过高,有一点明确的是,jre6 是可用的,jre8 是出编译错误的。step 1:新建工程,设置 jre 的版本 并下调编译级别: step 2:拷贝 hadoop 源码到srchadoop 的源码我们主要关心的是hadoop 的 src 目录下的...

2016-03-14 12:30:43

阅读数:871

评论数:0

hadoop 实战——网站日志数据分析

用于分析的关键指标 (1)浏览量 PV定义:页面浏览量即为PV(Page View),是指所有用户浏览页面的总和,一个独立用户每打开一个页面就被记录一次。 分析:网站总浏览量,可以考核用户对于网站的兴趣,就像收视率对于电视剧一样。但对于网站运营者来说,更重要的是,每个栏目下的浏览量。 (2)注册用...

2016-03-12 18:18:35

阅读数:653

评论数:0

SQOOP 操作

自动运行脚本修改 $SQOOP_HOME/conf 下的配置文件,sqoop-site.xml,加注的sqoop.metastore.client.record.password属性(其 value 为 true,也即对密码进行记录),只不过默认对该配置加注,我们将它解注释。

2016-03-12 16:46:01

阅读数:480

评论数:0

SQOOP——MySQL 和 HDFS 的桥梁

将数据从 mysql import 到 HDFS 中我们要使用 mysql 的话,意味着要对其进行连接,自然使用 JDBC(Java Data Base Connectivity)。在之前配置 hive 的 mysql 时,我们已将 mysql-connector-java-5.1.10.jar ...

2016-03-12 16:36:27

阅读数:628

评论数:0

SQOOP --hive-import 错误(Sqoop Hive exited with status 1)及解决

SQOOP 基础及安装 执行 SQOOP 的 import 到 HDFS 操作时,--hive-import参数的目的是为了将mysql/oracle等关系型数据库中的文件导入到HDFS文件系统时,顺便也导入到 hive 中去。然而,有时我们增加该参数时,可能会报如下的错误:13/04/21 16...

2016-03-12 12:56:53

阅读数:2822

评论数:4

SQOOP 基础及安装

SQOOP 是hadoop生态圈中使用较为简单的一款产品; (1)SQOOP 命令是转换为 map 任务执行的,再次可见hadoop(hdfs、MapReduce)居于hadoop生态圈的核心位置 (2)关系型数据库向hadoop的转换应当是双向的; SQOOP 用于对数据进行导入导出的, ...

2016-03-12 10:59:34

阅读数:456

评论数:0

使用 JDBC 连接 Hive(ClassNotFoundException、No suitable driver found、Could not open client transport wit)

主要解决 因为hive版本的问题,JAVA 使用 JDBC 连接 hive 时抛出的一些异常

2016-03-12 10:18:29

阅读数:9496

评论数:1

hive 操作(四)

distinct:去重 视图 使用视图可以屏蔽复杂的操作; 还可进行权限的控制; hive> create view v1 as select * from t1;limit clauseLimit 限制查询的记录数,返回的结果是随机选择的,hive> select * fr...

2016-03-11 23:09:31

阅读数:482

评论数:0

hive 操作(三)——hive 的数据模型

Hive 操作(一) hive 操作(二)——使用 mysql 作为 hive 的metastore 大的分类可分为: (1)受控表(MANAGED_TABLE)内部表 分区表 桶表 (2)外部表(external table)和受控表不同,对外部表删除,仅删除引用,而不删除真实存储的数据; 内部...

2016-03-11 20:59:50

阅读数:1910

评论数:0

hive 配置 mysql时的问题(Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D)

因为 hive 的映射工具——metastore,默认存放在 derby 中,而derby数据库的一大缺陷在于其不支持并发访问(早期的hive是这样)。当我们使用 mysql 作为其远程仓库时,自然需要修改相关配置文件。(其实所谓的默认配置,即是配置文件赋予该属性的初始值)。主要修改的配置文件在$...

2016-03-11 18:23:49

阅读数:2953

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭