hadoop
黄骅饼子
。。。
展开
-
hadoop全分布式安装
修改配置文件/etc/hadoop第一个:hadoop-env.shvim hadoop-env.sh–$JAVA_HOME=$JDK_HOMEyarn-env.shvim yarn-env.sh–$JAVA_HOME第二个:core-site.xmlvim core-site.xml fs.defaultFS hdfs://主机名(或IP)转载 2016-05-08 11:30:40 · 313 阅读 · 0 评论 -
hadoop2.6.2高可用配置
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 4.关闭防火墙5.ssh免登陆6.安装JDK,配置环境变量等192.168.249.145 master01192.168.249.176 master02192.168.249.154 slave01192.168.249.152 slave02192.168.249.153 sl转载 2016-05-08 11:28:48 · 1192 阅读 · 0 评论 -
hadoop2.6.0伪分布式单机全安装
1.在root账户下修改主机名/etc/sysconfig/networkHOSTNAME=localhost(自己取名)/etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdoma原创 2016-04-05 12:54:59 · 412 阅读 · 0 评论 -
google file system
Google文件系统 GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 (1)设计想定 GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了它与早期的文件系统明显不同的设想。这就转载 2016-04-17 00:02:09 · 274 阅读 · 0 评论 -
google big table
Google'sBigTable 原理(翻译) 题记:google的成功除了一个个出色的创意外,还因为有 Jeff Dean这样的软件架构天才。 欢迎订阅作者微博 ------ 编者官方的 Google Readerblog 中有对BigTable的解释。这是Google转载 2016-04-17 00:02:54 · 637 阅读 · 0 评论 -
mapreduce:超大机群上的简单数据处理
摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数据,在机转载 2016-05-05 10:37:21 · 1160 阅读 · 0 评论 -
flume1.6.0的日常安装
下载flume的src包和bin包,解压tar -zxvf flume-1.6.0-bin.tar.gztar -zxvf flume-1.6.0-src.tar.gz将src的所有文件移动到bin下进行覆盖,重命名文件夹cp -R apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/mv apache-flume-1.6.0原创 2016-05-18 16:02:08 · 403 阅读 · 0 评论 -
nginx1.4.4的简单安装
以下操作全部在root账户下下载nginx1.4.4版本wget http://nginx.org/download/nginx-1.4.4.tar.gz解压tar -zxvf nginx.tar.gz创建文件夹,移动文件夹mkdir /usr/local/nginxmv nginx-1.4.4 /usr/local/nginx/安装依赖yum原创 2016-05-18 14:25:41 · 3178 阅读 · 0 评论 -
一句话介绍Hadoop家族产品
转载请注明出处:http://blog.fens.me/hadoop-family-roadmap/使用Hadoop已经有一段时间了,从开始的迷茫,到各种的尝试,到现在组合应用….慢慢地涉及到数据处理的事情,已经离不开hadoop了。Hadoop在大数据领域的成功,更引发了它本身的加速发展。现在Hadoop家族产品,已经达到20个了之多。 有必要对自己的知识做一个整理了,把产品和转载 2016-05-23 15:50:33 · 467 阅读 · 0 评论