hadoop
sxyandapp
七期信息技术提高班
展开
-
java读写hdfs文件
前言最近接触了分布式文件存储系统FastDFS,但FastDFS是底层是用C语言写的,因此安装的时候还需要make,这一点很是不爽。自己之前研究过Hadoop,其中的hdfs就是一个分布式文件系统,而且Hadoop是用java语言编写的,因此考虑能否用hdfs来代替FastDFS。 经过反复实践,基本能够远程连接hdfs进行文件的操作了,直接上代码。本示例的前提是先启动hdfs文件系统,关于如何原创 2016-07-05 18:00:35 · 2430 阅读 · 0 评论 -
Hadoop单机模式环境搭建
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。搭建一个基于hadoop2.5.1用于开发的单机模式的hadoop环境需要只需要三步。 注意:此方法在windows和linux下通用。第一步,安装JDK并配置JAVA_HOME和PATH环境变量略第二步,下载hadoop安装包并原创 2016-08-16 11:48:53 · 914 阅读 · 1 评论 -
Hadoop伪分布式模式环境搭建
hadoop的伪分布模式主要是为了在同一台机器上模拟真实的运行环境,对于开发者,hadoop的伪分布式模式和分布式模式几乎没有区别。本文是基于windows的配置文件。如果在linux下,需要额外配置ssh无密码登录即可。配置hadoop的伪分布式模式需要三步。第一步配置JDK,下载hadoop并解压(参考单机模式hadoop的配置)第二步,配置环境变量到系统中HADOOP_PREFIX=你的ha原创 2016-08-16 14:11:21 · 884 阅读 · 1 评论 -
Hadoop分布式模式环境搭建
前一篇文章介绍了hadoop伪分布式模式的搭建,本篇文章介绍分布式模式的搭建。 分布式和伪分布式的区别,只是hadoop是真真正正跑在多个机器上,他们的配置其实是十分相似的。不过有以下几点需要注意:hadoop的分布式模式只能运行在linux上,在windows上时不可以的,至少在hadoop2.5.1这个版本上不可以。至于原因,有很多,本人尝试过在多个windows上跑hadoop,都以失败告原创 2016-08-16 15:53:58 · 981 阅读 · 1 评论 -
Hive安装
前言Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。Hive本质是将SQL转换为MapReduce程序安装前提linux环境(实测windows下hive未安装成功)hadoop伪分布式或分布式环境本文是在namenode的机器上进行hive的安装步骤第一步下载并解压Hive第二部配置环境变量HADOOP_HOME=你的ha原创 2016-08-17 14:07:41 · 1473 阅读 · 1 评论 -
HBase分布式运行环境的安装和配置
前言HBase是一个分布式的、面向列的,基于HDFS的开源数据库。安装前提linux环境搭建好的HDFS环境(hadoop分布式文件系统)HBase1.1.3三台linux主机用户运行hbase。三台主机已配置ssh免密码登录,并配置主机名分别为h2、h3、h4注:hbase有三种运行模式:单击模式、伪分布式模式和分布式模式。其中windows下只可运行单击模式。本文只搭建分布式模式,前原创 2016-08-17 15:12:38 · 2895 阅读 · 1 评论