自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

职场菜鸡的博客

纯属个人对以往知识的复习记录

  • 博客(7)
  • 收藏
  • 关注

原创 oracle 的备份和恢复

Oracle 的备份与恢复两大类    1. 物理备份与恢复    2. 逻辑备份与恢复(导入与导出)  根据数据库的工作模式划分    1 . 非归档模式(No Archivelog)       叫 冷备份    2. 归档模式(Archivelog)     叫热备份  1. 逻辑备份的导入 和 导出(Import 和 Export)      1. 全库方式(...

2018-10-18 16:55:04 127

原创 (Python版本)Spark RDD 的Transformation与Action的常用功能总结

本文主要演示如何通过Python对Spark的RDD进行编程,只列出了一些常用的RDD操作接口,完整的功能,请参考官方文档Transformation 操作     map : map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。            样例:>>> templist=[1,2,3,4,...

2018-03-28 14:09:13 577 1

转载 hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍

hadoop基本配置

2018-03-22 10:33:40 343

转载 Spark 相关概念介绍、架构原理、作业执行流程简介

这篇文章主要介绍 spark 的相关名词概念,和作业的执行流程,任务分配,希望通过这篇文章可以帮助大家对 spark 有一个更深层次的的理解。文章出处:点击打开链接名词解释:1. Standalone模式下存在的角色。       Client:客户端进程,负责提交作业到Master    Master:Standalone模式中主控节点,负责接收client提交的作业,管理work节点的资源,并...

2018-03-21 11:01:52 402

转载 Spark性能优化:数据倾斜调优

Spark性能优化:数据倾斜调优

2018-03-16 16:36:38 141

原创 hive编译器组成

parser  -> 将HQL转化为抽象语法树    |  ASTSemantic Analysis  将抽象语法树转化为查询块    | QBLogic Plan Generator 将查询块转换为逻辑查询计划    | OP treeLogical Optimizer 重写逻辑查询计划    | OP treePhysical Plan Generator 将逻辑计划转换为物理计划(M/...

2018-03-16 15:29:51 380

原创 MYSQL优化

mysql优化一个基本的原则:任何一条sql都应该避免全表扫描在where,order by,group by 所涉及的列上建立索引避免对字段进行null值的判断避免在where条件语句中使用!= / <>操作符where 语句中使用or会致使放弃索引in 与not in 应该慎用,对于连续的数值,应该优先考虑使用betweenlike '%adb%' 也会导致全表扫描,可以考虑全文检...

2018-03-16 14:59:26 91

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除