2017年06月_在屋顶听歌

12月 11月 10月 09月 08月 06月 05月 03月 02月 01月

原创 Spark 简介（三）

一、Spark 是什么及其特点Spark是基于内存计算的大数据并行计算框架，可用于构架大型的、低延迟的数据分析应用程序。Spark具有如下几个主要特点：运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学

2017-06-23 16:53:28 1792

原创 RDD 运行原理（二）

在学习Spark 之前笔者是先大致了解Spark的一些基本概念，以及在各种网站进行浏览一般，在大致对Spark整体知识有了一定的了解后再进行比较系统的学习与了解。在了解的过程中发现学习Spark前对RDD原理的理解是比较重要的，因而笔者是先了解RDD 相关原理然后再进行相应的学习。一.设计背景许多迭代式算法（比如机器学习、图算法等）和交互式数据挖掘工具，共同之处是，不同计算阶段之间会重用中间结果。

2017-06-23 15:42:17 3802

原创 Spark伪分布式安装（一）

笔者是在已安装好的伪分布式Hadoop环境下安装的Spark。虚拟机环境为：centos7。Hadoop版本号为：[centosm@centosm spark]$ hadoop versionHadoop 2.7.2一、Spark伪分布式安装1、确定hadoop环境已安装好2、下载spark http://spark.apache.org/downloads.html 3、解压spa

2017-06-23 15:15:44 1884

转载 HBase 总结（五）

一、HBase 是什么？可以简单地认为：HBase 是一个构建在HDFS 上的分布式列存储系统； HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。hbase 与hadoop的关系：二、HBase 主要用来解决什么问题及其应用场景HBase的目标是处理非常庞大的表，可以通过...

2017-06-22 00:05:58 2206

原创 Hive 与 Hbase的整合（四）

Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类一、将hbase 下相关的jar包拷贝到/home/centosm/hive/lib文件夹下面,如果已存在不同版本的则删除hive中的再复制上去。具体操作步骤如下：1、备份hive下的lib包： zip -r lib.zip lib2、将hbase

2017-06-20 23:59:42 1577

原创 HBase之api的基本运用(三)

直接上代码如下：package com.hbase.demo;/** * Hbase 版本号：1.2.4 */import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configu

2017-06-20 23:21:01 2491 1

原创 Hdp + Ambari 本地源安装

一、安装虚拟服务器（VM12中安装centos7） Hdpm （先安装一台服务器，后面再通过克隆的方式进行服务器的复制）二、安装jdk 1. 下载jdk1.8安装包 2. 将文件传到指定目录 jdk-8u121-linux-x64.tar.gz 3. 解压文件 tar -zxvf jdk-8u121-linux-x64.tar.gz 4.

2017-06-19 23:56:07 8064 2

原创 Hbase 之shell命令(二)

hbase shell ：进入hbase shell console创建一个表member ：（表名： ‘member’, 列族：’m_id’,’address’,’info’）在创建表只需要指定表名与列族便可 hbase(main):025:0> create 'member','m_id','address','info'2.list #查看所有表hbase(main):037:

2017-06-14 11:24:21 604

JavaSE_Android精华版2.0.chm

Java se 基础总结例如正则表达式如下 1、正则(了解) 1、基本的正则表达式(看懂即可) 字符类 [abc] a、b 或 c（简单类） [^abc] 任何字符，除了 a、b 或 c（否定） [a-zA-Z] a 到 z 或 A 到 Z，两头的字母包括在内（范围） [0-9] 0到9的字符都包括 [a-d[m-p]] a 到 d 或 m 到 p：[a-dm-p]（并集） [a-z&&[def]] d、e 或 f（交集） [a-z&&[^bc]] a 到 z，除了 b 和 c：[ad-z]（减去） [a-z&&[^m-p]] a 到 z，而非 m 到 p：[a-lq-z]（减去）

2017-11-21