![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
齊帥
天道酬勤
展开
-
在Eclipse中运行第一个MapReduce程序
这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。 新说明一下我的开发环境: 操作系统:在windows下使用wubi安装了ubuntu 10.10 hadoop版本:hadoop-0.20.2.tar.gz Eclipse版本:eclipse-jee-helios-SR1-linux-gtk.tar.gz转载 2012-10-10 12:27:59 · 703 阅读 · 0 评论 -
Hadoop集群
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Had转载 2013-07-01 14:31:13 · 835 阅读 · 0 评论 -
云计算发展进程中的六大关键技术
云计算是以数据为中心的一种数据密集型的超级计算。在数据存储、数据管理、编程模式、并发控制、系统管理等方面具有自身独特的技术。云计算六大关键技术 海量分布式存储技术 为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据和冗余存储的方式来保证存储数据的可靠性,一高可靠软件来ibuyingjian呃不可靠,从而提供廉价可靠的系统。为了满足大量用户的需求,转载 2013-06-28 17:00:14 · 828 阅读 · 0 评论 -
SSH实现无密码验证登录
1. 前期准备: 检查是否安装了SSH服务和rsync服务(rsync是一个远程数据同步工具,可以通过LAN/WLAN快速同步多台主机之间的文件) rpm -qa | grep openssh rpm -qa | grep rsync 我的Centos 5.6下的显示: 如果没有安装则执行一下安装:yum install ss转载 2013-06-28 16:55:18 · 676 阅读 · 0 评论 -
一篇不错的hadoop介绍文章
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同?现今企业数据仓库和关系型数据库擅长处理结转载 2012-09-24 16:15:46 · 552 阅读 · 0 评论 -
Hadoop 基本操作命令
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all原创 2012-10-10 10:55:08 · 683 阅读 · 0 评论 -
Hadoop 异常处理统计
1 hadoop删除文件是提示rmr: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete 运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input.原创 2012-10-10 13:47:25 · 920 阅读 · 0 评论 -
hadoop集群部署
1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile: export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 保存,并转载 2012-10-10 10:56:09 · 442 阅读 · 0 评论 -
Hadoop 异常处理
1 hadoop删除文件是提示rmr: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete 运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input.原创 2012-10-10 13:47:57 · 625 阅读 · 0 评论 -
大数据时代创业难:盘点未来十大初创企业
耳常闻“大数据”,眼常看“大数据”,可就是不知如何用“大数据”!对于国内互联网创业者,要是能在这“信息大爆炸”的年头,从海量的“垃圾”信息当中嗅出点端倪,找出个切入点,少不说能成为行业的佼佼者,一不小心还真有可能就会引领中国的未来呢! 要在国内找出个像样的“大数据”初创公司,并非易事,但正是有这样的空白存在,才让人看到机遇。当然,在国内,妄图在政府身上应用大数据是很需要勇气的,但是,在私转载 2013-07-04 18:22:47 · 1067 阅读 · 0 评论