![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 54
lvwenwenjava
这个作者很懒,什么都没留下…
展开
-
Hadoop学习目录
如果你想在这三年内富的流油,Hadoop技术绝对是个不错的选择!课程大纲:第一天:Hadoop概论和快速入门上午:Hadoop 简介:缘起与术语 练习一:Hadoop 单机安装HDFS 理念与命令解说 练习二:HDFS 操作实务MapReduce 简介: 练习三:MapReduce 范例操作Hadoop 集群安装配置...原创 2012-07-26 22:54:18 · 139 阅读 · 0 评论 -
Hadoop技术一句话介绍
Hadoop 是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。 MapReduce 是Google提出的一种算法,用于超大型数据集的并行运算。它是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布...原创 2015-03-18 11:36:57 · 232 阅读 · 0 评论 -
hadoop面试题
1、说说你们公司的hadoop项目? 2、你们项目的集群有多大,有几个节点,总共的数据量是多少? 3、 每天大约有多少数据量? 4、hdfs如何保持数据的一致性? 5、多线程并发是如何开发的? 6,、nio有哪些核心的类? 7、你们是如何解决hive数据倾斜问题的? 8、mapreduce中shuffle的原理 还有很多Java基础的问题,比如java虚拟机,垃圾回收机制等...原创 2015-01-13 15:56:33 · 160 阅读 · 0 评论 -
hadoop的常用命令指南
目录[-]1.start-all.sh开启线程2. -ls/-lsr 查看目录下的文件信息3. –touchz 创建文件4. –mkdir 创建文件夹5. -text/-cat查看文件内容6. -mv 移动/重命名7. -cp 复制8. -rm/-rmr 删除文件9. -put 上传文件10.-copyFromLocal 从本地复制11 -...原创 2015-01-05 16:27:31 · 194 阅读 · 0 评论 -
hadoop配置、运行错误总结
新手搞hadoop最头疼各种各样的问题了,我把自己遇到的问题以及解决办法大致整理一下先,希望对你们有所帮助。一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceI...原创 2014-12-23 16:49:12 · 223 阅读 · 0 评论 -
Hadoop常见问题及解决办法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。/etc/security/limits.confvi /etc/...原创 2014-12-23 16:47:57 · 225 阅读 · 0 评论 -
Hadoop入门
原文地址:http://blog.csdn.net/calvinxiu/archive/2007/02/09/1506112.aspxHadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可 以不考虑内存泄露一样, MapReduce的run-time系统会...原创 2012-08-01 23:56:38 · 66 阅读 · 0 评论 -
Hadoop入门专家引导
Hadoop你是否了解,本文就像大家简单Hadoop入门知识,希望正在学习Hadoop以及对学习Hadoop感兴趣的朋友们一起来关注。AD:本节和大家介绍一下Hadoop入门,主要内容是Hadoop概论,Hadoop的基本概念等内容,希望通过本节的介绍,大家对Hadoop有初步的认识。下面是具体介绍。Hadoop入门Hadoop是GoogleMapReduce的一个Java...原创 2012-07-30 23:22:10 · 588 阅读 · 0 评论 -
Hadoop 实践入门
1 实验环境搭建1.1 准备工作ubuntu/redhatJDK/openjdkHadoopEclipsevmvare/virtureBox1.1.1 ubuntu 安装 下载最新版本ubuntu 11.10。 安装注意事项: 1、关闭防火墙:shell命令 sudo ufw ...原创 2012-07-30 23:09:35 · 67 阅读 · 0 评论 -
hadoop常见错误及解决办法!
转:http://p-x1984.iteye.com/blog/9895771:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:...原创 2015-05-26 22:13:26 · 775 阅读 · 0 评论