- 博客(9)
- 资源 (29)
- 收藏
- 关注
转载 云计算的三种服务模式:IaaS,PaaS和SaaS
云计算的三种服务模式:IaaS,PaaS和SaaS 云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别,那么也没啥,因为很多人确实不知道。 “云”其实是互联网的一个隐喻,“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用,数据,或者服务。 任何一个使用基于互联网的方法来计算,存储和开发的公司,都可以从技术上叫做从事云的公司
2014-02-28 09:50:29 2677 1
原创 HBase伪分布式安装的简单步骤记录
环境 RedHat linux 虚拟机 IP 192.168.2.16 hadoop-0.20.2 hbase-0.92.1 用户 hadoop,用户目录 /home/hadoop 下载解压到用户目录 tar -xzvf hbase-0.92.1.tar.gz 设置/home/hadoop/hbase-0.92.1/conf/hbase-env.sh的java home exp
2014-02-27 16:43:14 6393 1
原创 JAVA API操作HDFS文件系统
一个通过JAVA API操作HDFS文件系统的例子,本例子使用的是hadoop0.20的版本,在windows的eclipse下运行的时候,需要将core-site.xml和hdfs-site.xml放在src/bin目录中。 public class TestHDFSFile { private String localPath = "C:/D/JavaWorkSpace/bigdata/
2014-02-25 13:55:27 13496 1
原创 hadoop程序在windows上访问hdfs的问题
hadoop运行在linux上,在window的本地eclips运行java代码,碰到如下的异常, java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// Java代码如下: FileSystem fs = FileSystem.get(conf); in = fs.open(ne
2014-02-25 12:42:04 7812
原创 Hadoop伪分布式环境搭建
Hadoop伪分布式环境搭建 简单记录hadoop伪分布式环境搭建的步骤 软件环境配置 VM:VMware-workstation REDHAT linux, ip 192.168.2.6 Hadoop:hadoop-0.20.2 1, 创建一个hadoop用户 groupadd hadoop useradd hadoop -g hadoop passwd hadoop 以
2014-02-24 14:56:41 2561
原创 创建淘宝开放平台应用的步骤简单记录
记录一下淘宝开放平台应用开发的步骤。 1,注册成为开发者,创建一个应用, 参照下面的链接如何选择应用 http://open.taobao.com/doc/detail.htm?id=101710 创建应用的时候有一个回调地址url, 回调地址是用来接收TOP(开放平台)返回授权相关数据的, 下面是你的应用使用TOP API的流程:在没有上线之前测试都在所谓的沙箱模式下进行的。 1,
2014-02-20 11:06:44 15438 1
转载 hadoop的基础思想
转载 http://www.superwu.cn/2014/01/10/963 1.1.1. hadoop的核心思想 Hadoop包括两大核心,分布式存储系统和分布式计算系统。 1.1.1.1. 分布式存储 为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不下这些数据吗?事实上,确实装不下。比如,很多的电信通话记录就存储在很多台服务器
2014-02-17 12:24:58 1900
转载 基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
转载 http://www.cnblogs.com/hadoopdev/archive/2013/03/08/2950121.html 一、概述 首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服
2014-02-16 16:58:32 2537
原创 JAVA多线程的共享数据操作
volatile变量表示变量在被修改后会被立即写回主存,不会被缓存在寄存器或者对其它处理器隐藏的地方。所以,读一个volatile变量时,总会返回有某一线程返回的最新值。 如果想通过volatile保证共享数据的正确性,必须保证只有一个线程写,多个线程读。
2014-02-10 15:17:49 4309
TPC-H_Tools_2.18.0_rc2_mysql.zip
2020-05-05
Linux上apache的安装文件
2012-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人