2017年02月_在屋顶听歌

12月 11月 10月 09月 08月 06月 05月 03月 02月 01月

原创 Eclipse关联Hadoop源码

一、获取源码 1、可通过下面的地址下载 hadoop-2.7.2-src.tar.gzhadoop源码下载链接 2、将hadoop源码解压(不建议解压到带有中文的目录下)二、安装maven 与 protoc 1、下载 apache-maven-3.0.3.zip 2、配置maven MVN_HOME：D:\LinkCM\apache-maven-3.0.3 Path：D:

2017-02-27 00:33:21 611

原创搭建Eclipse运行hadoop案例的环境

Eclipse 运行Hadoop的案例目前我尝试的是如下三种，在Eclipse上对本地文件进行操作；在Eclipse上对远程的Hadoop文件进行操作；将eclipse中的文件打包成jar包通过shell命令运行。下面分别对这两种方式进行描述：**基本环境的准备**1、JDK，Eclipse的安装在这里就不重复说明了。2、本人运行的环境是 win10 ，Eclipse Version:

2017-02-25 00:53:55 737

原创 Hadoop 伪分布式的快速搭建

一、准备Linux环境 1.0安装虚拟机 1.1修改主机名可参照如下链接修改主机名与配置ssh通过主机名进行远程登录二、处理防火墙查看防火墙状态service iptables status关闭防火墙service iptables stop查看防火墙开机启动状态chkconfig iptables --list关闭防火墙开机启动chkconfig ipt...

2017-02-22 22:49:39 428 2

转载 Ftp常用命令

1.FTP> ! 从 ftp子系统退出到外壳。 2.FTP> ? 显示 ftp命令说明。? 与 help相同。　　格式：? [command]　　说明：[command]指定需要帮助的命令名称。如果没有指定 command，ftp将显示全部命令的列表。 3.FTP> append 使用当前文件类型设置将本地文件附加到远程计算机上的文...

2017-02-22 15:33:32 27458 4

原创 Hadoop之Hive简介与安装、测试（一）

一、Hive是什么？ Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析与管理。可以通俗的理解为：对于存储在HDFS中的数据进行分析与管理时，我们不想使用手工，从而建立一个工具来进行相应的操作，这个工具就是hive。数据仓库：数据仓库的本质就是收集尽可能多的信息，用作公司的决策支持。数据仓库一般是不可更新的，数据仓库主要是为决策分析提供数

2017-02-16 00:23:36 10457

原创初识Hadoop

一、Hadoop是什么？ 1、面向大数据处理这里的大数据是个相对的说法，例如这些数据运用传统的方法难以快速地处理一般便可称为大数据。2、擅长离线数据分析 Hadoop可以处理大规模数据集，包括结构化数据、非结构化数据和半结构化数据，但Hadoop是按照批量处理系统来设计的，这也就限制了它的反应速度。　　阻碍Hadoop实现实时分析的主要有两点：

2017-02-16 00:02:51 347

原创 Hadoop之Yarn学习(一)

一、Yarn 是什么？ Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN的基本思

2017-02-15 23:57:34 582

原创 Hadoop之HDFS的读写流程（四）

读取过程：上图解说一： 1、使用HDFS提供的客户端开发库，向远程的NameNode发起RPC请求； 2、NameNode会视情况返回文件的部分或全部block列表，同时返回的block所对应的的datanode地址信息； 3、Client会就近选取对应的block，若该block与客户端在同一个dataNode，则就相当于读

2017-02-13 10:34:27 1360

转载 Hadoop之HDFS的Java Interface(三)

HDFS中JAVA API的使用http://www.cnblogs.com/liuling/p/2013-6-17-01.html

2017-02-13 10:19:40 396

原创 Hadoop之HDFS初步认识（一）

Hadoop的知识架构图如下所示：一、HDFS是什么？ 1、HDFS是Hadoop生态圈中的分布式文件存储系统，主要是来源于Google 的GFS论文；全称：Hadoop Distributed File System。 2、易于扩展的分布式文件系统。 3、运行在大量普通廉价机器上，提供容错机制。

2017-02-10 10:47:15 424

Java se 基础总结例如正则表达式如下 1、正则(了解) 1、基本的正则表达式(看懂即可) 字符类 [abc] a、b 或 c（简单类） [^abc] 任何字符，除了 a、b 或 c（否定） [a-zA-Z] a 到 z 或 A 到 Z，两头的字母包括在内（范围） [0-9] 0到9的字符都包括 [a-d[m-p]] a 到 d 或 m 到 p：[a-dm-p]（并集） [a-z&&[def]] d、e 或 f（交集） [a-z&&[^bc]] a 到 z，除了 b 和 c：[ad-z]（减去） [a-z&&[^m-p]] a 到 z，而非 m 到 p：[a-lq-z]（减去）

2017-11-21