hadoop
文章平均质量分 75
bluetropic
这个作者很懒,什么都没留下…
展开
-
虚拟机安装Ubuntu 12.04 出现提示“Ubuntu is running in low-graphics mode?”
安装时出现:The System is running in low graphics modeYour Screen, graphics card,and input device settings could not be detected correctly. You will need to configure this yourself后来又出现:Ubuntu 12.04 t原创 2013-05-28 15:34:01 · 19230 阅读 · 13 评论 -
高手博客内容
空间 »博客 »Openstack列表模式:标题+预览 |标题+全文 |仅标题Openstack虚拟机实例备份方案测试分类: Openstack 统计: 0评/109阅/0顶 282013-04 Openstack api 使用方法分类: Openstack 统计: 0评/483阅/0顶 2转载 2013-07-26 20:25:23 · 747 阅读 · 0 评论 -
On-Disk还是In-Memory:两种数据库对比
http://club.techtarget.com.cn/space/viewspacepost.aspx?postid=5827我们所知道的最普遍的传统数据库包括Oracle和MySQL等,如果按照数据存储的介质,我们可以把它们称为硬盘数据库,因为数据是存放在外部存储介质当中的。相对应,还有一种数据库我们可以称它为内存数据库,即In-Memory Database,简称IMDB(同某知名被转载 2013-07-28 00:11:40 · 2578 阅读 · 0 评论 -
Hadoop管理员的十个最佳实践
TechTarget中国原创内容,原文链接:http://www.searchcloudcomputing.com.cn/showcontent_67013.htm导读:Hadoop工具因大数据的火热而流行起来,但你是否真的已经掌握的Hadoop的使用技能,本文基于Cloudera CDH 3u4编写的,提供了一些关于Hadoop的管理方法。关键词:Hadoop Hadoop集群 Hado转载 2013-07-27 23:43:30 · 804 阅读 · 0 评论 -
Linux 技巧:让进程在后台可靠运行的几种方法
原文作者:申毅,IBM 中国软件开发中心 WebSphere Portal 部门软件工程师。地址:http://www.ibm.com/developerworks/cn/linux/l-cn-nohup/ 我们经常会碰到这样的问题,用 telnet/ssh 登录了远程的 Linux 服务器,运行了一些耗时较长的任务, 结果却由于网络的不稳定导致任务中途失败。如何让命令提交后不转载 2013-07-28 16:28:18 · 688 阅读 · 0 评论 -
hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
原文:http://blog.csdn.net/larrylgq/article/details/7580488sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) A转载 2013-08-19 11:48:01 · 3718 阅读 · 0 评论 -
hadoop安装调试错误总结(1)
新手搞hadoop最头疼各种各样的问题了,我把自己遇到的问题以及解决办法大致整理一下先,希望对你们有所帮助。一、hadoop集群在namenode格式化(bin/hadoop namenode -format)后重启集群会出现如下Incompatible namespaceIDS in … :namenode namespaceID = … ,datanode namespaceID=转载 2013-08-21 10:46:39 · 1073 阅读 · 0 评论 -
hadoop安装调试错误总结(2)
十二、如果遇到如下错误:FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里边出现了不允许出现的字符,比如冒号:之类的,操作系统不允许的文件命名字符。详细的可以根据提示的部分(星号部分)来进行grep匹配查看。消除转载 2013-08-21 10:48:05 · 1171 阅读 · 0 评论 -
分析和优化云集群性能
分析和优化云集群性能 使用可配置参数监视和调优 Hadoop 集群的性能Yu Li, 软件工程师, IBMYu Li 是一位中国软件工程师。他是 IBM InfoSphere BigInsight 团队的成员,这个团队的任务是在 Apache Hadoop 上构建分析平台。他的专业领域包括云计算、性能调优、数据挖掘、数据库技术和中间件技术。简介: Hadoop 是一个可以分布式操纵转载 2013-08-15 14:58:07 · 858 阅读 · 0 评论 -
CentOS网络配置解决方案
文章来源:http://blog.csdn.net/heyabo/article/details/8035927关于centos网络配置的方法,网上文档很多,但基本上都是一些操作命令,原理和解释则很少提到,而且某些文章有些地方还是需要商量的(估计是转载的,作者自己也没有实践过)。故,重新总结一下,分三个部分:理论基础、上机实践和原因阐述。注:实践环境:虚拟机登陆方式转载 2013-09-21 17:20:15 · 757 阅读 · 0 评论 -
人工智能:EMC GP发布Pivotal HD和HAWG详解
独家供稿:移动Labs 美国时间的今天,也就是2013年2月27日,三年前被EMC收购的GreenPlum公司拿出了他们在2013年的重大动作,发布了Pivotal HD,这是一个Hadoop协议栈。与之前OEM的MapR的Hadoop协议栈不一样,这个新的协议栈是GreenPlum自己研发的,主要的目的就是支撑其上被称为HAWG的技术。 发布会演讲可以在这转载 2013-09-15 23:59:38 · 2301 阅读 · 0 评论 -
分析和优化云集群性能
使用可配置参数监视和调优 Hadoop 集群的性能Yu Li, 软件工程师, IBMYu Li 是一位中国软件工程师。他是 IBM InfoSphere BigInsight 团队的成员,这个团队的任务是在 Apache Hadoop 上构建分析平台。他的专业领域包括云计算、性能调优、数据挖掘、数据库技术和中间件技术。简介: Hadoop 是一个可以分布式操纵大量数据的转载 2013-10-30 21:06:12 · 851 阅读 · 0 评论 -
集群资源调度系统简介与galaxy资源调度系统简介
原文链接:http://www.alidata.org/archives/2439随着公司业务的飞速发展,集群规模的逐步扩大,各计算系统,存储系统,应用系统也随着业务的发展,一个接一个的被创造了出来。但集群规模扩大以后,却带来很多问题,如自动化部署,集群整体利用率偏低等问题也逐步的暴露出来。所以,迫切的需求一套集群资源调度系统来解决这些问题。各大互联网公司也相继搞出了一些系统,如omega转载 2013-11-06 08:56:26 · 1375 阅读 · 0 评论 -
Hadoop集群监测工具——ganglia安装实例
目录(?)[+]Ganglia是一个用于集群性能监测的工具,为了说明其使用方法,本文结合Hadoop集群环境讲解ganglia的安装过程,希望能给感兴趣的朋友提供参考帮助。测试环境Ubuntu 12.04 LTSHadoop 0.20.2ganglia 3.1.7主要概念数据监测节点(gmond):这个部件装在需要监测的节点上,用于收集本节点的运行情况,并将这些统计转载 2013-07-26 14:49:59 · 908 阅读 · 0 评论 -
Hadoop学习——HDFS数据备份与放置策略
hadoopHDFS数据备份放置策略目录(?)[+]对于分布式文件系统来说,为了保证数据的高可用性和系统容错能力,往往会把同一数据块在多个节点上进行备份,那么如何分配这些复制数据的位置,不同的文件系统会有不同的策略。一、业界分析在介绍HDFS之前,先简单了解一些其它文件系统的放置策略:1. Lustre——一致性哈希环对于不同的数据备份,需要放到不同的节点上面,一种转载 2013-07-26 14:45:41 · 1774 阅读 · 0 评论 -
Hadoop and Sort Benchmark
Sort Benchmark是一个专门从事排序基准评估的非盈利机构,该机构每年都会举办一次排序基准评估比赛,很多公司和学术机构都会带着他们最新的研究成果来参加这个比赛,以评估他们的研究成果。在2007之前,该机构的排序基准评估比赛的主办和管理主要都是由Jim Gray来负责,他是数据库界的超级牛人、1998年图灵奖获得者。但不幸的是,JimGray在2007年1月28日早上独自乘船离开San转载 2013-07-09 21:24:00 · 1912 阅读 · 0 评论 -
Ubuntu12.04+hadoop-1.1.2运行wordcount示例
HADOOP自己带有一些实例,比如wordcount实例实现统计单词在文本文件中的出现次数。下面是实验过程: 下面的命令,都直接是hadoop/bin里的命令,如果在/etc/profile里设置过PATH和CLASSPATH属性了,就可以和我一样省略掉命令路径前缀。 第一步:创建一个目录,作为数据输入源目录。命令行输入:mkdir input 第二步:在in原创 2013-05-30 11:38:07 · 1300 阅读 · 0 评论 -
hadoop集群的安全模式
hadoop集群的安全模式 NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的blo转载 2013-07-16 16:25:28 · 1059 阅读 · 0 评论 -
hadoop 日志分析程序
实战2——Hadoop的日志分析1). 日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示: 2013-03-06 15:23:48,132 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:/**转载 2013-07-19 09:22:10 · 1843 阅读 · 0 评论 -
hadoop命令详解
hadoop命令详解一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文转载 2013-07-19 09:25:20 · 797 阅读 · 0 评论 -
基于Ubuntu12.04+hadoop1.2.0 的hadoop集群搭建
Ubuntu12.04搭建hadoop1.2集群中国人民大学 信息学院 董兆安 2013年7月(一) 环境准备首先准备5台电脑。我这里使用的是OpenStack虚拟出来的五台电脑。每个实例安装的系统是Ubuntu 12.04.2 LTS,虚拟配置如下:(二) 修改机器名打开/etc/hostname文件;sudo vi/etc/hostn原创 2013-07-15 19:45:07 · 1540 阅读 · 0 评论 -
Spark独立部署模式
Spark独立部署模式原文连接:http://spark-project.org/docs/latest/spark-standalone.html翻译的水平有限,欢迎批评指正,转载请注明出处。除了部署在Mesos之上, Spark也支持独立部署模式, 包括一个Spark master进程和多个 Spark worker进程. 独立部署模式可以运行在单机上作为测翻译 2013-07-22 16:35:01 · 8098 阅读 · 0 评论 -
Hadoop集群的体系结构和方法
原文地址 http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/本文侧重于Hadoop集群的体系结构和方法,以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群,那转载 2013-07-30 11:47:20 · 1559 阅读 · 0 评论 -
启动Hadoop后发现datanode无法启动
感谢原有发帖人,内容来源:http://f.dataguru.cn/thread-24378-1-1.html***最近发现重启虚拟机后,启动Hadoop后发现datanode无法启动,查看日志报如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible name转载 2013-07-26 11:46:49 · 3206 阅读 · 0 评论 -
配置hadoop.tmp.dir 目录
感谢原有发帖人,内容来源:http://f.dataguru.cn/thread-23704-1-1.htmlHADOOP 配置HADDOP.TMP.DIR 注意先说说,场景,在开发环境中,由于意外断电.重新启动HADOOP MASTER 结点.启动HADOOP START-ALL.SHgrid$ start-all.sh 查看http:\\hdnode1m:50070\ 无法打开网页转载 2013-07-26 11:53:39 · 34691 阅读 · 1 评论 -
ubuntu12.04集群安装Spark
原文地址:http://blog.csdn.net/yangning5850/article/details/9143151目录(?)[-]下载Spark下载Scala安装sbt编译Spark关于Hadoop版本Spark——Lightning-Fast Cluster Computing,这是Spark 官方logo的内容,让人很期待它的计算速度是否真的如此之快。转载 2013-07-26 14:38:00 · 1298 阅读 · 0 评论 -
Hadoop学习——HDFS系统架构
hadoopHDFS目录(?)[-]一业界调研GFSCephFhGFSGlusterFSLustre二HDFSHadoop的分布式文件系统HDFS主要是借鉴了Google发表的论文:The Google File System。该文件系统最大的优点是可以利用很多低配的计算机搭建高扩展和高容错性的分布式文件系统,另外,HDFS放宽了POSIX关于I/O的规定,因为转载 2013-07-26 14:44:48 · 1198 阅读 · 0 评论 -
hadoop2.0集群搭建详解
hadoop2.2.0集群搭建 PS:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的, 因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装 hadoop-2.2.0就需要重新在64操作系统上重新编译1.准备工作:(参考伪分布式搭建) 1.1修改Linux主机名转载 2014-04-05 10:51:07 · 968 阅读 · 0 评论