Hadoop
马大头
这个作者很懒,什么都没留下…
展开
-
Hadoop所需要的jar包
JDK版本的要求Hadoop 2.7 以及之后的版本,需要JDK 7;Hadoop 2.6 以及之前的版本,支持JDK 6;对于Hadoop1.x.x版本,只需要引入1个jar:hadoop-core对于Hadoop2.x.x版本,需要引入4个jar:hadoop-commonhadoop-hdfs转载 2017-09-13 09:55:35 · 15504 阅读 · 3 评论 -
Windows环境使用Cygwin安装Hadoop(亲测可用)
网上看了各种各样的安装教程,自己安装的过程中遇到了各种各样的坑,最后终于安装成功,现在将安装过程总结如下:主要过程是参照 http://blog.csdn.net/ruby97/article/details/7423088 中间做了部分修改以下为原博文内容,(修改内容用大红字在括号中标出):经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。转载 2017-09-13 16:40:20 · 1870 阅读 · 0 评论 -
使用java api操作HDFS文件
全部程序如下:[java] view plain copyimport java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;转载 2017-09-13 17:29:57 · 368 阅读 · 0 评论 -
《Hadoop基础教程》之初识Hadoop
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于200转载 2017-09-07 11:47:15 · 303 阅读 · 0 评论 -
mongodb, redis, hbase三种nosql数据的对比
nosql---not only sql 不只是sql当SQL满足不了你的需求或者SQL 已经不是必须的或者最佳的选择时,就是你考虑这类NoSQL 的时候了。当你的内存大于你的数据时,schema也不是太确定时,mongodb在这里静静地等待My SQL转业户为了尝鲜过来看热闹的,不改变设计模式,爽在前面痛在后面;当你唯一追求的就是速度,又对memcached的过于简单心存芥蒂转载 2017-09-07 12:00:20 · 474 阅读 · 0 评论 -
8种NoSQL数据库对比
导读:Kristóf Kovács 是一位软件架构师和咨询顾问,他最近发布了一片对比各种类型NoSQL数据库的文章。虽然SQL数据库是非常有用的工具,但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题:被迫使用关系数据库,但最终发现不能适应需求的情况不胜枚举。但是NoSQL数据库之间的不同,远超过两 SQL数据库之间的差别。这意味着软件架构师更应该在项目开始时就选择好一个适转载 2017-09-07 13:36:54 · 385 阅读 · 0 评论 -
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利在 CentOS 中安装并运行 Hadoop。本 Hadoop 教程由给力星出品,转载请注明。环境本教程使用 CentOS 6.4 32位 作为系统环境,请自行转载 2017-09-12 11:32:03 · 280 阅读 · 0 评论 -
Spark快速入门指南 – Spark安装与基础使用
本教程由给力星出品,转载请注明。Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce 的处理速度快 100 倍。此外,Spark 提供了简单易用的 API,几行代码就能实现 WordCount。本教程主要参考官网快速入门教程,介绍了转载 2017-09-12 11:35:27 · 311 阅读 · 0 评论 -
Windows上搭建hadoop开发环境
Windows上搭建hadoop开发环境 前言 Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行;另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便,安装过程也简单,本篇文章是介绍第二种方式Cygwin模拟Linux环境。转载 2017-09-12 14:37:15 · 1746 阅读 · 0 评论