- 博客(26)
- 收藏
- 关注
RSS订阅转载 基于CDH，部署Apache Kylin读写分离
一. 部署读写分离的契机目前公司整体项目稳定运行在CDH5.6版本上，与其搭配的Hbase1.0.0无法正确运行Kylin，原因是Kylin只满足Hbase1.1.x+版本。解决方案如下1. 升级整体CDH版本，从而获得高版本Hbase（方案风险太大）2. 把Hbase从CDH单独剥离出来，用原生的Hbase高版本替代（方案缺点是管理Hbase不方便，原有的应用难迁移）3...
2018-12-12 18:28:00
202
转载 Hive集合数据类型
Hive的列除了支持基本的数据类型外，还支持使用Struct、Map和Array三种集合数据类型。 假设某表有如下一行，我们用JSON格式来表示其数据结构。在Hive下访问的格式为 { "name": "John Doe", "salary": 100000.0 , "subordinates": ["Mary Smith" , "Todd Jones"] ...
2017-04-06 19:00:00
168
转载 Hive分区（静态分区+动态分区）
Hive分区的概念与传统关系型数据库分区不同。传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。所以可以这样理解，当我们在插入数据的时候指定分区，其实就是新建...
2017-03-29 17:50:00
360
转载 Hive基础知识梳理
Hive简介 Hive是什么 Hive是构建在Hadoop之上的数据仓库平台。 Hive是一个SQL解析引擎，将SQL转译成MapReduce程序并在Hadoop上运行。 Hive是HDFS的一个文件目录，一个表名对应一个目录名，若该表是分区表，则分区值对应子目录名。 Hive的历史由来 Hive体系结构 Hive在Hadoop中的位置 Hive设计特征 ...
2017-03-29 12:22:00
164
转载 Hive伪分布式下安装
本安装过程只作为个人笔记用，非标准教程，请酌情COPY。:-DHive下载下载之前，需先查看兼容的Hadoop版本，并安装hadoop，参考 http://www.cnblogs.com/yongjian/p/6552647.html因为自己安装的是hadoop2.7.0，所以就直接下载了Hive2.0.1版本安装。下载连接apache-hive-2.0.1-bi...
2017-03-23 23:22:00
133
转载 Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop，安装过程写的有些简单，只作为笔记方便自己研究Hadoop用。环境操作系统Centos 6.5_64bit本机名称hadoop001本机IP192.168.3.128JDKjdk-8u40-linux-x64.rpm点此下载Hadoop...
2017-03-15 10:07:00
91
转载 Spark 键值对RDD操作
键值对的RDD操作与基本RDD操作一样，只是操作的元素由基本类型改为二元组。概述键值对RDD是Spark操作中最常用的RDD，它是很多程序的构成要素，因为他们提供了并行操作各个键或跨界点重新进行数据分组的操作接口。创建Spark中有许多中创建键值对RDD的方式，其中包括文件读取时直接返回键值对RDD通过List创建键值对RDD...
2017-02-23 16:43:00
302
转载 Scala入门：从HelloWorld开始【源码及编译】
最近在学习Scala语言，虽然还没有完全学通， 但是隐约可以体会到Scala的简洁和强大。 它既能让程序员使用函数式编程， 也提供了全面的面向对象编程。 在刚刚开始读《Scala编程》的时候， 刚读了几页， 我就被Scala语言吸引住了， 所以就一直读下去。 在学习的过程中， 也会有一些感悟， 对于一些原理， 也会尽量搞明白。 所以打算一边学习， 一边写博客， 虽然目前还没有深入， 但...
2017-02-17 12:41:00
300
转载 Spark RDD编程核心
一句话说，在Spark中对数据的操作其实就是对RDD的操作，而对RDD的操作不外乎创建、转换、调用求值。什么是RDD RDD（Resilient Distributed Dataset），弹性分布式数据集。 它定义了如何在集群的每个节点上操作数据的一系列命令，而不是指真实的数据，Spark通过RDD可以对每个节点的多个分区进行并行的数据操作。 之所以称...
2017-02-16 13:35:00
79
转载 Scala 元组
与列表一样，元组也是不可变的，但与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。例如：val t = (1, 3.14, "Fred") 以上实例在元组中定义了三个元素，对应的类型分别为[Int, Double, java.lang.String]。此外我们也可以使用以上方式来定义：val t = new ...
2017-02-15 15:52:00
48
转载 Scala 匿名函数
Scala 中定义匿名函数的语法很简单，箭头左边是参数列表，右边是函数体。使用匿名函数后，我们的代码变得更简洁了。下面的表达式就定义了一个接受一个Int类型输入参数的匿名函数:var inc = (x:Int) => x+1上述定义的匿名函数，其实是下面这种写法的简写：def add2 = new Function1[Int,Int]{ ...
2017-01-17 16:25:00
97
转载 Scala 函数
函数是一组一起执行一个任务的语句。 您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由您来决定的，但在逻辑上，划分通常是根据每个函数执行一个特定的任务来进行的。Scala 有函数和方法，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。我们可以在任何地方定义函数，甚至可以在函数内定义函...
2017-01-10 10:10:00
67
转载 Scala访问修饰符
Scala 访问修饰符基本和Java的一样，分别有：private，protected，public。如果没有指定访问修饰符符，默认情况下，Scala对象的访问级别都是 public。Scala 中的 private 限定符，比 Java 更严格，在嵌套类情况下，外层类甚至不能访问被嵌套类的私有成员。私有(Private)成员用private关键字修饰，...
2016-12-27 19:51:00
53
转载 Scala变量
变量是一种使用方便的占位符，用于引用计算机内存地址，变量创建后会占用一定的内存空间。基于变量的数据类型，操作系统会进行内存分配并且决定什么将被储存在保留内存中。因此，通过给变量分配不同的数据类型，你可以在这些变量中存储整数，小数或者字字母。变量声明在学习如何声明变量与常量之前，我们先来了解一些变量与常量。一、变量： 在程序运行过程中其值可能发生改变的量叫做变量...
2016-12-27 19:42:00
82
转载 Scala 数据类型
Scala 与 Java有着相同的数据类型，下表列出了 Scala 支持的数据类型：Byte8位有符号补码整数。数值区间为 -128 到 127Short16位有符号补码整数。数值区间为 -32768 到 32767Int32位有符号补码整数。数值区间为 -2147483648 到 2147483647Long64位有符号补码整数。数值区间为 -922337...
2016-12-27 19:32:00
86
转载 Scala 基础语法
如果你之前是一名 Java 程序员，并了解 Java 语言的基础知识，那么你能很快学会 Scala 的基础语法。Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。接下来我们来理解下，类，对象，方法，实例变量的概念：对象 - 对象有属性和行为。例如：一只...
2016-12-27 19:19:00
53
转载 Idea下用SBT搭建Spark Helloworld
没用过IDEA工具，听说跟Eclipse差不多，sbt在Idea其实就等于maven在Eclipse。Spark运行在JVM中，所以要在Idea下运行spark，就先要安装JDK 1.8+ 然后加入Scala和Spark的依赖包就可以进行开发了，不要安装低版本的JDK。先下载Idea的社区版https://www.jetbrains.com/idea/downloa...
2016-12-22 14:04:00
74
转载 MapReduce 常见SQL模型解析
MapReduce应用场景前一阵子参加炼数成金的MapReduce培训，培训中的作业例子比较有代表性，用于解释问题再好不过了。有一本国外的有关MR的教材，比较实用，点此下载。MR能解决什么问题？一般来说，用的最多的应该是日志分析，海量数据排序处理。最近一段时间公司用MR来解决大量日志的离线并行分析问题。MapReduce机制对于不熟悉MR工作原理的同学，推荐...
2016-12-05 13:17:00
100
转载 Linux下安装 Posgresql 并设置基本参数
在Linux下安装Postgresql有二进制格式安装和源码安装两种安装方式，这里用的是二进制格式安装。各个版本的Linux都内置了Postgresql，所以可直接通过命令行安装便可。本文用的是Centos6.5。安装Postgresql# 安装postgresql服务器yum install postgresql-server#依赖包是否安装Y/N ...
2016-11-18 17:27:00
92
转载 Liunx下配置DNS服务
当Ping 主机名时可以映射出该主机的IP地址，反之亦然。配置并指定DNS服务器可以快速部署集群，不需要每台主机都去修改HOSTS文件即可实现IP与主机名的相互解析。而在Linux下的DNS是用bind来实现的。环境： 机器IP 机器名称 用途10.190.60.5 hadoop01.ftgov...
2016-11-17 19:37:00
69
转载 VMware的三种网络连接方式区别
关于VMware的三种网络连接方式，NAT，Bridged，Host-Only ，在刚接触的时候通常会遇到主机Ping不通虚拟机而虚拟机能Ping得通主机；主机与虚拟机互不相通等等网络问题。本文就这三种连接方式作一一说明，也方便以后翻阅当参考用。首先，要注意安装完VMware后，控制面板\网络和 Internet\网络连接会多出两块虚拟网卡VMnet1、VMnet2，两...
2016-11-16 20:30:00
45
转载 迁移至博客园
能长期坚持去做，并做好一件事，真的不是那么容易。从CSDN到网易，再从网易到51CTO，最后是博客园。几乎这些技术博客圈子里都有过我的影子。但基本都是半途而废，到后来，随着年龄增长以及工作圈子的限制，发现自己的叙事思维越来越模糊，已经可以用“乱”来形容脑海里的状态了。有个同事，坚持写博客已经8年多了，我问他怎么能保证如此高产，怎么能从工作中抽出时间去写博客。他回答：...
2016-11-15 21:01:00
62
转载 Oracle常用语句集合
1 oracle常用经典SQL查询 2 常用SQL查询： 3 4 1、查看表空间的名称及大小 5 6 select t.tablespace_name, round(sum(bytes/(1024*1024)),0) ts_size 7 from dba_tablespaces t, dba_data_files d...
2014-07-20 20:17:00
98
转载 Oracle表的几种连接方式
1，排序 - - 合并连接（Sort Merge Join， SMJ）2，嵌套循环（Nested Loops， NL）3，哈希连接（Hash Join， HJ） Join是一种试图将两个表结合在一起的谓词，一次只能连接2个表，表连接也可以被称为表关联。在后面的叙 述中，我们将会使用“row source”来代替“表”，因为使用row source更严谨一些，并且将参与...
2014-05-06 17:20:00
108
转载 Oracle逻辑结构（TableSpace→Segment→Extent→Block）
一、逻辑体系结构图 二、逻辑结构图组成介绍 从上表可以看出，一个数据库是由多个表空间（tablespace）组成，一个表空间又由多个段（segment）组成，一个段又由多个区（extent）组成，一个区则由多个块（block）组成。 一个数据库中，UNDO和SYSTEM表空间是必须存在的。 举个例子： 话说张三是大坝县的一个农民，每年秋收的稻谷都必须放到...
2014-05-02 23:19:00
156
转载 Oracle物理体系结构
一、ORACLE 物理体系结构原理结构图 各部分解释：PGA: 私有内存区，仅供当前发起用户使用。三个作用用户登录后的session信息会保存在PGA。执行排序，如果内存不够，oracle会在临时表空间中完成保存用户权限信息SGA: 包含共享池，数据缓冲区，日志缓冲区以及一些相关的进程。DAT...
2014-04-30 10:39:00
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人