自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

Mr.pan felix的专栏

Whatever is worth doing is worth doing well, persistence and indomitable.

  • 博客(8)
  • 资源 (31)
  • 收藏
  • 关注
全部文章> 2019年12月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月

原创 Spark: 数据读取与保存

Spark 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。文件格式分为：Text 文件、Json 文件、Csv 文件、Sequence 文件以及 Object 文件；文件系统分为：本地文件系统、HDFS、HBASE 以及数据库。4.1.1 文本 文件1）数据读取:textFile(String) scala> val hdfsFile = sc.textFile...

2019-12-20 15:47:17 934

原创 Oracle常用日期操作

1. 'MON-YY' 转换为日期SELECT t.period_name, TO_CHAR(TO_DATE(t.period_name, 'MON-YY', 'NLS_DATE_LANGUAGE = American'), 'YYYYMM') FROM...

2019-12-17 11:06:35 494

原创 Spark算子：RDD键值转换操作–cogroup、join

cogroup ##参数为1个RDD def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))] def cogroup[W](other: RDD[(K, W)], numPartitions: Int): RDD[(K, (Iterable[V], Iterab...

2019-12-06 17:00:55 251

原创 Spark算子，RDD键值转换操作 combineByKey

查看源代码会发现combineByKey定义如下： def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)]= { ...

2019-12-06 14:24:13 341

原创 Spark算子，RDD键值转换操作 partitionBy、flatMapValues、mapValues

partitionBydef partitionBy(partitioner: Partitioner): RDD[(K, V)]该函数根据partitioner函数生成新的ShuffleRDD，将原RDD重新分区。scala> var rdd1 = sc.makeRDD(Array((1,"A"),(2,"B"),(3,"C"),(4,"D")),2)rdd1: org.a...

2019-12-05 10:42:10 363 1

原创 轻量级虚拟化Docker

一、Docker基本介绍Docker发端于一个名为dotcloud的开源项目；随着编写者不断挖掘它的潜力，它迅速变成了一个炙手可热的项目。它由GO语言编写的，并且只支持Linux。它基于Linux容器（LxC）来创建一个虚拟环境。Docker不会通过建立独有的操作系统、进程和对硬件进行模拟来创建属于自己的虚拟机。请注意：虚拟环境VE(Virtual Environment)和虚拟机（VM）很不...

2019-12-05 10:27:07 736

原创 Spark算子：几种不同的RDD创建操作

通过HiveContext创建RDDApache Hive 是 Hadoop 上的一种常见的结构化数据源。Hive 可以在 HDFS 内或者在其他 存储系统上存储多种格式的表。这些格式从普通文本到列式存储格式，应有尽有。Spark SQL 可以读取 Hive 支持的任何表。import org.apache.spark.sql.hive.HiveContextval hiveCtx =...

2019-12-04 14:06:02 260

原创 Spark的fold()和aggregate()函数

最近在学习spark，理解这两个函数时候费了一些劲，现在记录一下。1. rdd.fold(value)(func)说到fold()函数，就不得不提一下reduce()函数，他俩的区别就在于一个初始值。reduce()函数是这样写的：rdd.reduce(func)参数是一个函数，这个函数的对rdd中的所有数据进行某种操作，比如：val l = List(1,2,3,4)...

2019-12-04 12:09:26 333

Hadoop构建数据仓库实践_王雪迎PDF原版
《Hadoop构建数据仓库实践》讲述在流行的大数据分布式存储和计算平台Hadoop上设计实现数据仓库，将传统数据仓库建模与SQL开发的简单性与大数据技术相结合，快速、高效地建立可扩展的数据仓库及其应用系统。 本书内容包括数据仓库、Hadoop及其生态圈的相关概念，使用Sqoop从关系数据库全量或增量抽取数据，使用HIVE进行数据转换和装载处理，使用Oozie调度作业周期性执行，使用Impala进行快速联机数据分析，使用Hue将数据可视化，以及数据仓库中的渐变维（SCD）、代理键、角色扮演维度、层次维度、退化维度、无事实的事实表、迟到的事实、累积的度量等常见问题在Hadoop上的处理等。 本书适合数据库管理员、大数据技术人员、Hadoop技术人员、数据仓库技术人员，也适合高等院校和培训机构相关专业的师生教学参考。 第1章 数据仓库简介 第2章 数据仓库设计基础 第3章 Hadoop生态圈与数据仓库 第4章 安装Hadoop 第5章 Kettle与Hadoop 第6章 建立数据仓库示例模型 第7章 数据抽取 第8章 数据转换与装载 第9章 定期自动执行ETL作业 第10章 维度表技术 第11章 事实表技术 第12章 联机分析处理 第13章 数据可视化

2019-03-11

公共仓库元模型开发指南_彭蓉
本书介绍公共仓库元模型（CWM）的开发方法，从CWM导论入手，由浅入深地阐述了CWM的体系结构及基本技术、使用CWM建模元数据、数据仓库管理模型、维模型、CWM元仓库模型开发集成体系结构以了数据存储实现等方面的内容。 本书的作者都是曾经参与制定CWM的专家，从事数据仓库的开发、设计、分析与系统集成的专业技术人员都会从本书受益。

2018-10-12

公共仓库元模型_数据仓库集成标准导论
本书详细介绍了OMG推出的公共仓库元模型的标准，从而帮助读者利用元数据轻松完成不同产品间的数据交换。本书从CWM的来源讲起，介绍了制定CWM的必要性、CWM的基础知识、CWM的体系结构以及如何利用CWM开发元数据解决方案，如何实现CWM等问题。本收结构清晰，内容丰富，几位作者都是参与制定CWM的专家，具有丰富的实践经验。因此，本书极具实用性，适用数据仓库的设计者、维护者、制定决策的管理人员阅读。

2018-10-12

Oracle 12c DBA管理员手册【官方培训】
Oracle 12c DBA管理员手册【官方培训】 该文档详细介绍了12C的新特性，以及实践手册。希望对大家有用

2018-08-10

高级OWI与Oracle性能调整（赵东郁）
这是一本绝版好书，虽然比较老，但是万变不离其中。ralce等待事件和oralce性能调整，赵东郁著。

2018-07-18

Oracle PLSQL程序设计 上 (第五版)_高清版
Oracle PL/SQL程序设计（第5版）（套装上下册）》基于Oracle数据库11g，从PL/SQL编程、PL/SQL程序结构、PL/SQL程序数据、PL/SQL中的SQL、PL/SQL应用构建、高级PL/SQL主题这6个方面详细系统地讨论了PL/SQL以及如何有效地使用它。《Oracle PL/SQL程序设计（第5版）（套装上下册）》能够帮助你充分利用PL/SQL来解决数据库开发中遇到的各种问题，引导你掌握各种构建应用的技巧和技术，以便使你编写出高效、可维护的代码 。《Oracle PL/SQL程序设计（第5版）（套装上下册）》不但介绍了大量的Oracle 11g的PL/SQL新性能，还提供了许多优化PL/SQL性能的新方法。 　　《Oracle PL/SQL程序设计（第5版）（套装上下册）》结构清晰，示例丰富，实践性强，适用于Oracle数据库开发人员、Oracle数据库管理员等相关数据库从业人员，也可以作为各大、中专院校相关专业师生的参考用书和相关培训机构的培训教材。

2018-07-18

bbed 10g x64 bit
BBED(Oracle Block Browerand EDitor Tool)，用来直接查看和修改数据文件数据的一个工具，是Oracle一款内部工具，可以直接修改Oracle数据文件块的内容，在一些极端恢复场景下比较有用。该工具不受Oracle支持，所以默认是没有生成可执行文件的，在使用前需要重新连接。 BBED随软件发布，但是我们需要进行简单的relink才能使用。 虽然BBED工具的使用存在很多风险，但是如果利用得当，可以以之解决很多棘手的问题，并且可以练习坏块修复等技术。

2018-07-18

PLSQL developer 12.0.5+注册机+client
PL/SQL Developer是一个集成开发环境，专门面向Oracle数据库存储程序单元的开发。如今，有越来越多的商业逻辑和应用逻辑转向了Oracle Server，因此，PL/SQL编程也成了整个开发过程的一个重要组成部分。PL/SQL Developer侧重于易用性、代码品质和生产力，充分发挥Oracle应用程序开发过程中的主要优势。

2018-07-18

Oracle Database 11gR2性能调整与优化
本书详细介绍了最新的监控、故障排除和优化的方法，取自真实世界的案例研究和最佳实践遍及全书，从书中可以学会如何找出和解决瓶颈问题、如何配置存储设备、如何有效运行查询以及如何开发无错误的SQL和PL/SQL代码。

2018-07-18

Oracle查询优化改写 技巧与案例_高清带书签版本
《Oracle查询优化改写技巧与案例》不讲具体语法，只是以案例的形式介绍各种查询语句的用法。第1~4章是基础部分，讲述了常用的各种基础语句，以及常见的错误和正确语句的写法。这部分的内容应熟练掌握，因为日常查询和优化改写都要用到。第5~12章是提高部分，讲解了正则表达式、分析函数、树形查询及汇总函数的用法。这部分知识常用于对一些复杂需求的实现及优化改写。最后两章介绍日常的优化改写案例。这部分是前面所学知识的扩展应用。 如果您是开发人员，经常与Oracle打交道，那么《Oracle查询优化改写技巧与案例》可以帮助您处理复杂的需求，写出高性能的语句。如果您是运维人员，则《Oracle查询优化改写技巧与案例》可以帮助您更快地完成慢语句的改写优化。

2018-07-18

数据仓库工具箱：维度建模的完全指南(第二版翻译好)
《数据仓库工具箱》第二版是最好的，第三版翻译的根本看不懂，只能呵呵，所以建议看第二版。这个是好不容易找到的第二版，大师力作，推荐。 随着TheDataWarehouseToolkit（1996）第1版的出版发行，RalphKimball为整个行业引入了维度建模技术。从此，维度建模成为一种被广泛接受的表达数据仓库和商业智能（DW/BI）系统中数据的方法。该经典书籍被认为是维度建模技术、模式和实践的资源。 　　本书汇集了全面的维度建模技术。《大数据应用与技术丛书·数据仓库工具箱（第2版）：维度建模指南》采用新的思路和实 践对上一版本进行了全面修订，给出了设计维度模型的全面指南，既适合数据仓库新手，也适合经验丰富的专业人员。 　　本书涉及的所有技术都基于作者实际从事DW/BI的设计经验，通过实际案例加以描述。 　　主要内容 　　◆实用设计技术——有关维度和事实表的基本和高级技术 　　◆14个案例研究，涉及零售业、电子商务、客户关系管理、采购、库存、订单管理、会计、人力资源、金融服务、医疗卫生、保险、教育、电信和运输等 　　◆为12个案例研究提供了数据仓库总线矩阵示例 　　◆需要避免的维度建模陷阱和错误 　　◆增强的缓慢变化维度（SCD）技术类型0~类型7 　　◆用于处理参差不齐的可变深度层次和多值属性的桥接表 　　◆大数据分析的实践 　　◆与业务参与方合作、交互设计会议的指南

2018-07-18

Docker技术入门与实战
该文档特别介绍了Docker的各方面功能、应用等，对于初学者是一个快速了解和入手的文档。

2018-07-18

剑破冰山__Oracle开发艺术
本书主要覆盖Oracle开发必备的重要知识点：数据库编程规范、Oracle开发常用工具及使用、MERGE方法、神秘的NULL和讨厌的CHAR、扩展GROUP BY、Oracle自动类型转换、Oracle分析函数、Oracle层次查询、11g R2新特性之递归WITH编程、动态SQL扩展。此外还有大量案例：Where In List问题解析，数据库设计和大数据量处理、数据审核、号段选取应用、分析SQL执行计划的关注点、Oracle开发误区探索、提升PL/SQL开发性能漫谈、管道函数的学习与实战应用、巧用锁特性避免重复启动同一程序、不可能的任务？超越Oracle等。 本书作者均有多年Oracle开发管理实战经验，他们期望以自己的经验和教训，分享分析和解决问题的方法，探讨如何用相关的技术去解决特定的需求。希望读者在看完本书后，能受到良好的启迪，进而能极大地提升自己在Oracle数据库开发方面的能力！

2017-11-20

数据仓库工具箱 维度建模权威指南 第3版
Ralph Kimball博士自1982年以来一直是数据仓库行业最主要的开拓者，并且是目前最知名的演讲人、咨询师与培训员之一。他是《智能企业》杂志的“数据仓库设计者”专栏的撰稿人，同时也是最畅销的《数据仓库生命周期工具箱》与《数据网库工具箱》两部着作的作者。 本书主要介绍本书从维度建模的基本知识入手，通过给出零售、库存、采购、订单管理、顾客关系管理、账目、人力资源管理、财经服务、电信与公用事业、交通、教育、卫生护理、电子商务以及保险等方面的实例研究，全面、深入、透彻与具体地介绍了利用维度模型设计与开发数据仓库的综合技术知识。 同时，本书对数据仓库在当前社会与技术背景下的发展前景进行了很有远见的探索。本书先介绍基本知识，然后逐个讨论具体实例内容，最后进行综合总体分析，在内容的结构方面很有特色。本书涉及的行业较多，但这些内容从不同角度体现了数据仓库的各个方面，因而对于完整的学习与掌握数据仓库知识显得十分必要。

2017-11-20

oracle AWR性能分析详解
awr往往是分析数据库性能得重要参照，这个是oracle的awr的分析总结，教你如何看awr分析数据库性能问题。

2014-09-19

ckediter第三方网页编辑器
该工具功能十分强大，可以直接添加到编译器中做文档编辑工具，小巧好用，搞开发web必不可少

2014-08-10

MYSQL官方参考手册
该文档是mysql官方参考手册，是学习mysql不可缺少的好书，特别推荐参考学习

2014-08-10

OCA Oracle Database 11g Administrator Certified Associate Study Guide
这是一本oracle官方的考试书籍，涵盖OCA的sql考试全部考点，也是sql入门经典书籍

2014-08-10

[企业级Linux服务攻略].陈涛等.扫描版
该书是讲解oracle的linux下高级运维，真正企业级要求，让你耳目一新

2014-08-10

linux下安装oracle文档
如何在linux下安装oracle，简单，学oracle的你绝对会喜欢，快速学会linux下的应用。

2012-11-12

vs打包超全面
如何进行打包，包括卸载，等等，超详细

2012-04-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除