- 博客(7)
- 收藏
- 关注
原创 oracle 的备份和恢复
Oracle 的备份与恢复两大类 1. 物理备份与恢复 2. 逻辑备份与恢复(导入与导出) 根据数据库的工作模式划分 1 . 非归档模式(No Archivelog) 叫 冷备份 2. 归档模式(Archivelog) 叫热备份 1. 逻辑备份的导入 和 导出(Import 和 Export) 1. 全库方式(...
2018-10-18 16:55:04 127
原创 (Python版本)Spark RDD 的Transformation与Action的常用功能总结
本文主要演示如何通过Python对Spark的RDD进行编程,只列出了一些常用的RDD操作接口,完整的功能,请参考官方文档Transformation 操作 map : map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 样例:>>> templist=[1,2,3,4,...
2018-03-28 14:09:13 577 1
转载 hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍
hadoop基本配置
2018-03-22 10:33:40 343
转载 Spark 相关概念介绍、架构原理、作业执行流程简介
这篇文章主要介绍 spark 的相关名词概念,和作业的执行流程,任务分配,希望通过这篇文章可以帮助大家对 spark 有一个更深层次的的理解。文章出处:点击打开链接名词解释:1. Standalone模式下存在的角色。 Client:客户端进程,负责提交作业到Master Master:Standalone模式中主控节点,负责接收client提交的作业,管理work节点的资源,并...
2018-03-21 11:01:52 402
原创 hive编译器组成
parser -> 将HQL转化为抽象语法树 | ASTSemantic Analysis 将抽象语法树转化为查询块 | QBLogic Plan Generator 将查询块转换为逻辑查询计划 | OP treeLogical Optimizer 重写逻辑查询计划 | OP treePhysical Plan Generator 将逻辑计划转换为物理计划(M/...
2018-03-16 15:29:51 380
原创 MYSQL优化
mysql优化一个基本的原则:任何一条sql都应该避免全表扫描在where,order by,group by 所涉及的列上建立索引避免对字段进行null值的判断避免在where条件语句中使用!= / <>操作符where 语句中使用or会致使放弃索引in 与not in 应该慎用,对于连续的数值,应该优先考虑使用betweenlike '%adb%' 也会导致全表扫描,可以考虑全文检...
2018-03-16 14:59:26 91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人