2014年02月_IT农夫

12月 11月 10月 09月 07月 06月 03月 02月 01月

转载云计算的三种服务模式：IaaS，PaaS和SaaS

云计算的三种服务模式：IaaS，PaaS和SaaS　　云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别，那么也没啥，因为很多人确实不知道。　　“云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。　　任何一个使用基于互联网的方法来计算，存储和开发的公司，都可以从技术上叫做从事云的公司

2014-02-28 09:50:29 2677 1

原创 HBase伪分布式安装的简单步骤记录

环境RedHat linux 虚拟机 IP 192.168.2.16hadoop-0.20.2hbase-0.92.1用户 hadoop，用户目录 /home/hadoop下载解压到用户目录tar -xzvf hbase-0.92.1.tar.gz设置/home/hadoop/hbase-0.92.1/conf/hbase-env.sh的java homeexp

2014-02-27 16:43:14 6393 1

原创 JAVA API操作HDFS文件系统

一个通过JAVA API操作HDFS文件系统的例子，本例子使用的是hadoop0.20的版本，在windows的eclipse下运行的时候，需要将core-site.xml和hdfs-site.xml放在src/bin目录中。public class TestHDFSFile { private String localPath = "C:/D/JavaWorkSpace/bigdata/

2014-02-25 13:55:27 13496 1

原创 hadoop程序在windows上访问hdfs的问题

hadoop运行在linux上，在window的本地eclips运行java代码，碰到如下的异常，java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// Java代码如下： FileSystem fs = FileSystem.get(conf); in = fs.open(ne

2014-02-25 12:42:04 7812

原创 Hadoop伪分布式环境搭建

Hadoop伪分布式环境搭建简单记录hadoop伪分布式环境搭建的步骤软件环境配置VM：VMware-workstation REDHAT linux, ip 192.168.2.6Hadoop：hadoop-0.20.21, 创建一个hadoop用户groupadd hadoopuseradd hadoop -g hadooppasswd hadoop以

2014-02-24 14:56:41 2561

原创创建淘宝开放平台应用的步骤简单记录

记录一下淘宝开放平台应用开发的步骤。1，注册成为开发者，创建一个应用，参照下面的链接如何选择应用http://open.taobao.com/doc/detail.htm?id=101710创建应用的时候有一个回调地址url，回调地址是用来接收TOP（开放平台）返回授权相关数据的，下面是你的应用使用TOP API的流程：在没有上线之前测试都在所谓的沙箱模式下进行的。1，

2014-02-20 11:06:44 15436 1

转载 hadoop的基础思想

转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记录就存储在很多台服务器

2014-02-17 12:24:58 1900

转载基于Hadoop的云盘系统客户端技术难点之三小文件存储优化

转载 http://www.cnblogs.com/hadoopdev/archive/2013/03/08/2950121.html一、概述首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难，这取决于HDFS的实现机制和框架结构，每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服

2014-02-16 16:58:32 2537