- 博客(10)
- 资源 (13)
- 收藏
- 关注
原创 Eclipse关联Hadoop源码
一、获取源码 1、可通过下面的地址下载 hadoop-2.7.2-src.tar.gzhadoop源码下载链接 2、将hadoop源码解压(不建议解压到带有中文的目录下)二、安装maven 与 protoc 1、下载 apache-maven-3.0.3.zip 2、配置maven MVN_HOME:D:\LinkCM\apache-maven-3.0.3 Path:D:
2017-02-27 00:33:21 625
原创 搭建Eclipse运行hadoop案例的环境
Eclipse 运行Hadoop的案例目前我尝试的是如下三种,在Eclipse上对本地文件进行操作;在Eclipse上对远程的Hadoop文件进行操作;将eclipse中的文件打包成jar包通过shell命令运行。 下面分别对这两种方式进行描述:**基本环境的准备**1、JDK,Eclipse的安装在这里就不重复说明了。2、本人运行的环境是 win10 ,Eclipse Version:
2017-02-25 00:53:55 745
原创 Hadoop 伪分布式的快速搭建
一、准备Linux环境 1.0安装虚拟机 1.1修改主机名 可参照如下链接 修改主机名与配置ssh通过主机名进行远程登录二、处理防火墙查看防火墙状态service iptables status关闭防火墙service iptables stop查看防火墙开机启动状态chkconfig iptables --list关闭防火墙开机启动chkconfig ipt...
2017-02-22 22:49:39 443 2
转载 Ftp常用命令
1.FTP> ! 从 ftp子系统退出到外壳。 2.FTP> ? 显示 ftp命令说明。? 与 help相同。 格式:? [command] 说明:[command]指定需要帮助的命令名称。如果没有指定 command,ftp将显示全部命令的列表。 3.FTP> append 使用当前文件类型设置将本地文件附加到远程计算机上的文...
2017-02-22 15:33:32 27718 4
原创 Hadoop之Hive简介与安装、测试(一)
一、Hive是什么? Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析与管理。可以通俗的理解为: 对于存储在HDFS中的数据进行分析与管理时,我们不想使用手工,从而建立一个工具来进行相应的操作,这个工具就是hive。 数据仓库:数据仓库的本质就是收集尽可能多的信息,用作公司的决策支持。数据仓库一般是不可更新的,数据仓库主要是为决策分析提供数
2017-02-16 00:23:36 10523
原创 初识Hadoop
一、Hadoop是什么? 1、 面向大数据处理 这里的大数据是个相对的说法,例如这些数据运用传统的方法难以快速地处理一般便可称为大数据。2、 擅长离线数据分析 Hadoop可以处理大规模数据集,包括结构化数据、非结构化数据和半结构化数据, 但Hadoop是按照批量处理系统来设计的,这也就限制了它的反应速度。 阻碍Hadoop实现实时分析的主要有两点:
2017-02-16 00:02:51 370
原创 Hadoop之Yarn学习(一)
一、Yarn 是什么? Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器, 它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和 数据共享等方面带来了巨大好处。 YARN的基本思
2017-02-15 23:57:34 598
原创 Hadoop之HDFS的读写流程(四)
读取过程:上图解说一: 1、使用HDFS提供的客户端开发库,向远程的NameNode发起RPC请求; 2、NameNode会视情况返回文件的部分或全部block列表,同时返回的block所对应的的datanode地址信息; 3、Client会就近选取对应的block,若该block与客户端在同一个dataNode,则就相当于读
2017-02-13 10:34:27 1372
转载 Hadoop之HDFS的Java Interface(三)
HDFS中JAVA API的使用http://www.cnblogs.com/liuling/p/2013-6-17-01.html
2017-02-13 10:19:40 410
原创 Hadoop之HDFS初步认识(一)
Hadoop的知识架构图如下所示:一、HDFS是什么? 1、HDFS是Hadoop生态圈中的分布式文件存储系统,主要是来源于Google 的GFS论文; 全称:Hadoop Distributed File System。 2、易于扩展的分布式文件系统。 3、运行在大量普通廉价机器上,提供容错机制。
2017-02-10 10:47:15 427
JavaSE_Android精华版2.0.chm
2017-11-21
hadoop2.7.2的winutils.exe、hadoop.dll、hadoop-eclipse-plugin-2.7.2.jar
2017-02-25
Spark高级数据分析 (美) sandy ryza;uri laserson; 龚少成(译) 人民邮电出版社 2015-11-01.pdf
2016-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人