![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 72
wjcquking
这个作者很懒,什么都没留下…
展开
-
Hadoop入门WordCount代码
/** * calculate the count of the words in the document * the code is base on the hadoop-1.0.4 and Java 1.7 * */import java.io.IOException;import java.util.StringTokenizer;import org.apache.ha原创 2013-06-21 18:16:31 · 3140 阅读 · 0 评论 -
Hadoop学习(2)——虚拟机安装
为了做实验,自己在自己的电脑上安装了虚拟机来尝试玩一下Hadoop,安装Hadoop,熟悉Hadoop的运行方式。提前准备安装环境:Windows 7 Enterprise 64 bitMemory: 8GProcess: i7-3770 3.4GHzSoftware: VMware Workstation虚拟机系统:Ubuntu 10.原创 2015-03-27 19:22:04 · 1206 阅读 · 0 评论 -
Hadoop学习(1)
现在自己处于找工作的阶段,而现在我中意的职位有数据分析师,数据挖掘师,还有商业智能,这三者都是通过分析数据,挖掘数据中的价值而作为途径的。所以需要数据挖掘的知识和熟悉数据分析的工作现在数据已经完全已经超出了人们的理解范围,各种各样的大数据,如果要分析数据,就要做大数据平台下的数据分析,而现在大数据平台搞的最好的就是Hadoop,其实我已经接触Hadoop已经有二年半了,但是对于什么是Hadoo原创 2015-03-23 20:43:49 · 617 阅读 · 0 评论 -
HDFS学习(1)
HDFS全称为Hadoop Distributed File System,是Hadoop框架的核心组成部分,是存储大数据的框架,同时MapReduce为数据计算提供了解决方案。同时我在疑问为什么HDFS会成为Hadoop的核心,而不是其他的,为什么HDFS会适用于大数据的存储,这是由于什么决定了。首先,HDFS是使用流数据访问,我一直不是很明白为什么流式的访问那么快。和流式数据访问相对应的是原创 2015-03-23 14:56:04 · 1148 阅读 · 0 评论 -
《hadoop学习之路》————1. Hadoop 介绍
我学习Hadoop有一段时间了,但是一直都没有整理成博客,散漫的写了一些东西,现在开始有条例的整理一下我的hadoop学习之路 Hadoop是一个分布式的数据库,可以方便的解决大数据的的问题,由三个部分组成:MapReduce,HDFS,HBase。Hadoop最开始的想法是来自google公司,主要来自google发布的三篇论文03年的《The Goog原创 2014-12-29 14:06:30 · 1568 阅读 · 0 评论 -
How to Plan and Configure YARN and MapReduce 2 in HDP 2.0 如何配置YARN
本人主要讲述如何在一个现有的系统下,配置YARN,这样让整个系统的执行效率更高主要有Reducer的配置数目,每个Reducer可以使用的资源,包括内存和核心As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packa转载 2015-01-29 22:06:16 · 1403 阅读 · 0 评论 -
Hive基础概念
Hive很早以前就听说过,Hadoop是我研究的方向,但是对于Hive,Pig这些用的很少,这次为了京东金融的招聘才开始了解的Hive是大数据平台下的数据仓库管理工具。它可以将简单的SQL语句,逐渐的转化为Hadoop Job,之后进行运行,方便的使用大数据平台进行大数据的计算,而不需要很多的专业知识。百度百科的解释:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据原创 2015-01-29 16:26:08 · 1366 阅读 · 0 评论 -
hadoop错误提示 exitCode: 1 due to: Exception from container-launch.
1. 在集群上运行hadoop程序有有问题2. 错误提示代码为原创 2014-11-18 09:59:26 · 49690 阅读 · 3 评论 -
Spatial Join in SIGMOD(1993-1997)
SIGMOD 全称是Special Interest Group on Management Of Data,是Database方向最顶级的会议,如果谁能够在其上发表一篇文章,毕业和找工作都是没有任何问题的,和VLDB,ICDE并称为数据库方向的三大顶级会议空间数据库主要是存储空间信息的数据库,一般来说空间信息很难用关系数据库来进行存储,但是还是有很多的人在这方面进行了努力,专门设计了Spat原创 2013-11-29 09:32:09 · 1217 阅读 · 0 评论 -
Hadoop启动后无法看到DataNode
首先我查看NameNode没有发现错误,开始以为是Uuid的问题,以前碰到过,就是Namenode和Datanode的的Uuid不一致,导致不能识别,之后删除 /dfs/name(NameNode)和 /dfs/data(DataNode)的 current文件,这样就可以重新生成uuid,但是依旧有问题开始怀疑电脑之间不能识别,但是通过SSH,NameNode可以到任何一台DataNode,原创 2015-04-27 10:40:25 · 23167 阅读 · 2 评论