从最通俗的角度阐述SaaS,PaaS和IaaS的概念和区别

个人博客原文链接 IaaS, PaaS和SaaS是云计算的三种服务模式,以下分别从官方和通俗两个角度来理解SaaS、PaaS和IaaS的概念以及它们之间的区别 官方角度 IaaS 基础设施即服务(IaaS :Infrastructure as a Service),IaaS把计算基础(...

2019-04-22 00:34:31

阅读数 23

评论数 0

Atom+Asciidoctor+Antora环境搭建

个人博客原文链接 Atom 简介 Atom是github专门为程序员推出的一个跨平台文本编辑器。具有简洁和直观的图形用户界面,并有很多有趣的特点:支持CSS,HTML,JavaScript等网页编程语言。它支持宏,自动完成分屏功能,集成了文件管理器。 安装【windows7】 1.下载 ...

2019-02-26 16:24:51

阅读数 132

评论数 0

kafka集群搭建

个人博客原文链接 Kafka单机模式 1.解压 tar -xvf kafka_2.11-0.8.0.0.tgz -C /home/hadoop/apps/ 2.配置环境变量 vi ~/.bashrc export KAFKA_HOME=/opt/software/kafka expor...

2019-01-31 21:58:55

阅读数 227

评论数 1

两个步骤,通过正规渠道免费访问和下载CNKI的资源【2019/4/11】

主要步骤: 支付宝内搜索并关注“浙江图书馆”的生活号,点击“服务”-》“服务大厅”-》“办理读者证(免费的,自定义读者证的密码)”,办理完读者证后可以去支付宝卡包查看读者证的卡号。 打开浙江图书馆的官网链接(浙江图书馆)用读者证的卡号和密码登录浙江图书馆,在右下角会有数据库推荐版块,里面有...

2018-12-27 17:00:28

阅读数 1044

评论数 0

数栈-数据开发规范

个人博客原文链接 术语解释 ODS(Operational Data Store):操作型数据,即源数据,指结构与源系统基本保持一致的增量或全量数据。作为DW数据的一个数据准备区,同时又承担基础数据记录历史变化。 CDM(Common Data Model):通用数据模型(数据中间层),包含DW...

2018-12-21 14:55:35

阅读数 66

评论数 0

数栈-离线数据开发学习笔记

个人博客原文链接 离线任务开发 离线任务开发模块主要是设计数据计算流程,并实现为多个相互依赖的任务,供调度系统自动执行的主要操作页面。 对象 在数据开发阶段,DTinsightBatch提供了4种对象:任务、脚本、资源和函数。它们之间的项目关系如下图所示: 任务:数据开发的主要对象,包含周期属性...

2018-12-21 14:53:41

阅读数 158

评论数 0

数栈-数据集成学习笔记

个人博客原文链接 简介 数据集成模块是在各个存储单元之间执行数据交换的通道,具备分布式底层架构,稳定高效、弹性伸缩的特点,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。为了在DTinsightBatch进行大规模数据集的挖掘与计算,通常的做法是在任务执行前将数...

2018-12-21 14:51:27

阅读数 117

评论数 0

Spark入门详解(四)-网页排名算子开发实例

个人博客原文链接 思路分析: 1.此操作需要用到两个pairRDD,第一个pairRDD,key:当前页面,value:当前页面所含链接页面的合集。 2.第二个pairRDD,key:当前页面,value:当前页面的权重 3.两个pairRDD在循环中根据key进行连接操作,计算每次循环返回后各个...

2018-11-22 09:45:07

阅读数 38

评论数 0

Maven的pom.xml配置详解

个人博客原文链接 本次主要介绍了如何在IntelliJ IDEA中正确配置pom.xml文件,通常至少要包含三个部分:项目坐标和模型版本、引入依赖的jar包、构建项目的配置。 关于Maven的安装和环境配置可以参考我之前的文章:Maven入门学习 模型版本和项目坐标 模型版本 m...

2018-11-22 09:43:40

阅读数 81

评论数 0

Spark入门详解(三)-RDD编程

个人博客原文链接 RDD简介 RDD是弹性分布式数据集,完全弹性的,如果数据丢失一部分还可以重建。有自动容错、位置感知调度和可伸缩性。 RDD共包含两种计算方式,一种是transformations转换,一种是actions操作,每种计算方式包含一些常用的方法。 注:Transformat...

2018-11-22 09:41:07

阅读数 43

评论数 0

Spark入门详解(二)-Spark运行原理

个人博客原文链接 Spark运行过程 Spark应用程序以进程集合为单位在分布式集群上运行,通过driver程序的main方法创建的SparkContext对象与集群交互。 Spark大致运行流程: 1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需...

2018-11-22 09:39:42

阅读数 87

评论数 0

Spark环境搭建(多种模式)

个人博客原文链接 Spark环境的搭建相比于Hadoop集群的搭建还是比较简单的,而且跟Hadoop集群的搭建流程也很相似,只是没有Hadoop集群那么多的配置文件要修改。本文中,我将详细介绍Spark的本地模式、Standalone模式(伪分布)、Standalone模式(全分布)、Yarn集群...

2018-11-22 09:37:00

阅读数 104

评论数 0

Spark入门详解(一)-Spark简介

个人博客原文链接 简介 Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算,提供可交互查询方式,提供近实时处理方式,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。 Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能...

2018-11-22 09:34:20

阅读数 48

评论数 0

Scala入门详解(四)

个人博客原文链接 IO /** * IO * Scala进行文件写操作,直接用的都是java中的I/O类(java.io.File) */ object TestIO { def main(args: Array[String]): Unit = { // ...

2018-10-09 16:57:12

阅读数 40

评论数 0

Scala入门详解(三)

个人博客原文链接 集合 List /** * List * 列表类似于数组,它们所有元素的类型都相同,但是它们也有所不同: * 列表是不可变的,值一旦被定义了就不能改变, * 其次列表具有递归的结构(也就是链接表结构)而数组不是 */ object TestList { d...

2018-10-09 16:56:00

阅读数 55

评论数 0

Scala入门详解(二)

个人博客原文链接 类 类的声明与定义 /** * 类的声明与定义 * Scala是一种纯粹的面向对象编程语言,而又无缝地结合了命令式和函数式的编程风格。 * 在面向对象的语言有两个重要的概念:类(class)和对象(object也被称为实例—instance), * 其中类是对象的...

2018-10-09 16:54:25

阅读数 57

评论数 0

Scala入门详解(一)

个人博客原文链接 简介 Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。 优点 优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响...

2018-10-09 16:52:34

阅读数 79

评论数 0

HBase入门详解(三)

个人博客原文链接 环境:centos7+hadoop3.0.3+hbase2.0.1+jdk8 HBase的MapReduce操作 注意事项: * Map继承TableMapper * Reduce继承TableReducer * 最后Reduce输出的value的类型是Mutatio...

2018-09-25 19:58:40

阅读数 58

评论数 0

HBase入门详解(二)

个人博客原文链接 环境:centos7+hadoop3.0.3+hbase2.0.1+jdk8 HBase开发 测试代码准备 Configuration conf = null; ExecutorService pool = null; Connection c...

2018-09-25 11:56:48

阅读数 119

评论数 0

HBase入门详解(一)

个人博客原文链接 简介 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所...

2018-09-19 22:22:31

阅读数 63

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭