hadoop
ASX20042005
这个作者很懒,什么都没留下…
展开
-
使用Putty在机群中不用输入密码自由傲游
如果服务器的机群有几十台,甚至更多,你会不会觉得远程登录的时候频繁的输入密码很累呢?如下的方法就可以免除您这一烦恼。首先下载putty-0.60-installer.exe,到http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html页面找到Windows安装版本的putty1、 生成私钥1)运行PuTTY转载 2011-11-25 14:24:30 · 540 阅读 · 0 评论 -
Hadoop-----Unrecognized option: -jvm
情景描述: 在VM虚拟机上,按照hadoop手册,搭建Single Node. 启动hadoop时 #./start-all.sh 报错: ####################################################### localhost: Unrecognized op转载 2011-11-10 16:38:08 · 2911 阅读 · 1 评论 -
Hadoop启动时出现Unrecognized option: -jvm的问题(收集)
参考:在ubuntu10.04和java1.6.0.24环境下出现的问题最后发现是在hadoop/bin/hadoop中有如下一段shell:?1234567CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'if [[ $EUID -eq 0转载 2011-11-10 16:37:06 · 2845 阅读 · 0 评论 -
Hadoop学习总结之三:Map-Reduce入门
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+004301转载 2011-11-08 16:53:21 · 361 阅读 · 0 评论 -
Hadoop 学习总结之一:HDFS简介
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节转载 2011-11-08 16:06:04 · 347 阅读 · 0 评论 -
Hadoop环境搭建——单节点篇
自漫聊1.0发布以来,研究Hadoop也有一段时间了,目前环境已基本搭建好,规模为15台的小型集群,昨晚测试时是用wordcount统计一个1.2G的log文件,总耗时2分16秒,虽然测试文件不大,但其性能的优越性已经体现出来了。 闲话不多说了,进正题。 注:本文的环境搭建是针对双系统和linux系统的,而非win下的虚拟机! 流程:转载 2011-11-08 15:11:00 · 721 阅读 · 0 评论 -
为解决扩展性瓶颈雅虎计划重构Hadoop-MapReduce
最近雅虎开发者博客发了一篇介绍Hadoop重构计划的文章。因为他们发现当集群的规模达到4000台机器的时候,Hadoop遭遇到扩展性的瓶颈,目前他们正准备开始对Hadoop进行重构。Mapreduce面临的瓶颈 从集群大小和工作量中观察到的趋势是,MapReduce的JobTracker需要彻底改革,以解决其可扩展性,内存消耗,线程模型,可靠性和性能的几个缺陷。Mapr转载 2011-11-08 15:07:04 · 445 阅读 · 0 评论 -
Hadoop -【IO专题-序列化机制】
实现序列化机制时,您需要在简化使用和保持灵活性之间进行许多权衡。只要您对该过程具有充分的控制,就可以在很大程度上自动化该过程。例如,在简单二进制序列化不充分时可能导致一些情况发生,或者可能有特定原因确定在类中哪些字段需要进行序列化。Serialization is the process of turning structured objects into a byte stream for转载 2011-11-08 17:01:58 · 662 阅读 · 0 评论 -
修改Putty 0.6 代码支持SSH 密码保存功能 .
很早之前曾经修改过putty 的代码,使得telenet 的输出能够加入时间戳。 自己一向都是通过public key 的方式来完成SSH 登录,也就没有想过添加password 选项,但我知道我的很多同事每次在使用putty login 的时候,都不厌其烦的输入password ,他们还是有类似的需求。 ====> config.c 1、setup_config_转载 2011-11-25 14:08:35 · 733 阅读 · 0 评论