- 博客(7)
- 收藏
- 关注
转载 Centos Python 开发平台搭建
安装mysql 首先去http://dev.mysql.com/downloads/mysql/5.5.html#downloads站点下载 MySQL-devel-5.5.29-2.linux2.6.i386.rpm MySQL-client-5.5.29-2.linux2.6.i386.rpm MySQL-server-5.5.29-2.linux2.6.i386.rpm yum inst
2015-04-20 11:47:34 461
转载 CentOS 6.5 下安装 Redis 2.8.7
wget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzcd redis-stablemake前面3步应该没有问题,主要的问题是执行make的时候,出现了异常。 异常一: make[2]: cc: Command not found 异常原因:没有安装gcc 解决方案:
2015-04-20 10:17:20 253
转载 Google's BigTable
题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 RSS 数据源。 以下发言 是 Andrew Hitchcock 在 2005 年10月18号 基于: Google 的工程师
2015-03-06 11:48:53 391
转载 Google文件系统
GFS这三个字母无需过多修饰,《Google File System》的论文也早有译版。但是这不妨碍我们加点批注、重温经典,并结合上篇Haystack的文章,将GFS、TFS、Haystack进行一次全方位的对比,一窥各巨头的架构师们是如何权衡利弊、各取所需。 1. 介绍 我们设计和实现了GFS来满足Google与日俱增的数据处理需求。与传统的分布式文件系统一样,GFS着眼在几个重要的目标,比如性
2015-03-06 11:47:58 2464
转载 MapReduce:超大机群上的简单数据处理
摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作. 以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数
2015-03-06 11:32:08 551
原创 HDFS架构
NameNode管理节点NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 文件结构: fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间 Namenode始终在内存中保存metedata
2015-03-04 16:57:21 318
原创 Hadoop技术操作记录
Hadoop技术操作记录解决windows8.1[MSI文件不能安装问题]run.zip 请运行该文件。: 安装Centos注意事项: 其他的自行安装即可以上是我自己安装过程中的注意事项,下面开始进入Linux准备过程一、准备Linux环境1修改点击VMware快捷方式,右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段:1
2015-03-04 16:51:50 466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人