sk_43485671的博客

原创 oracle跨库数据同步

1.触发器1.1环境信息源库（A）IP:192.168.100.200目标库(B)IP:192.168.100.2031.2在A库建dblinkCREATE PUBLIC DATABASE LINK DBLINK_203 CONNECT TO username IDENTIFIED BY passwordUSING '192.168.100.203:1521/ORCL';1.3准备数据表create table T_MV_TEST(A NUMBER,B NUMBER, C.

原创 oracle自定义函数

1.判断日期CREATE OR REPLACE FUNCTION IS_DATE(I_DT VARCHAR2) RETURN NUMBER IS V_DT DATE;BEGIN V_DT := TO_DATE(NVL(I_DT, 'a'), 'yyyy-mm-dd'); RETURN 1;EXCEPTION WHEN OTHERS THEN RETURN 0;END IS_DATE;2.判断数字CREATE OR REPLACE FUNCTION IS_NU

原创 oracle压缩之OLTP专题

Oracle提供了一下几种类型的表压缩方法：1、Basic Compression2、OLTP Compression3、Warehouse Compression4、Archive Compression使用以上方式压缩时，发生批量数据导入时才会执行压缩。OLTP Compression被用于联机事务处理系统，可以对任意的SQL操作执行数据压缩。Warehouse Compres...

原创 ORACLE的数据库对象

目录1、包1.1、包的概念1.2、包的组成1.3、创建语法2、物化视图3、创建DBLink和同义词3.1 DBLINK3.2 同义词:4、JOB1、包1.1、包的概念包（package）是oracle数据库的对象。利用包可以将一组逻辑相关的PL/SQL类型，数据项和子程序组织在一起。一个包可以包含某些子程序，类型定义和变量的说明等。1.2...

原创 并行、并发、串行、同步、异步

并行是指两个或者多个事件在同一时刻发生；并发是指两个或多个事件在同一时间间隔内发生。串行是指多个任务时，各个任务按顺序执行，完成一个之后才能进行下一个。同步就是顺序执行，执行完一个再执行下一个，需要等待、协调运行。异步就是彼此独立,在等待某事件的过程中继续做自己的事，不需要等待这一事件完成后再工作。...

原创 java 反射

1、反射的定义：指在运行时，动态的获取一个类的信息，创建类的对象、访问类的成员。2、类加载器最原始的类Class,还有其子类 ClassLoader（系统类加载器）3、获得类的方式（1）通过ClassLoad: public static void main(String[] args) { String name="day16.Person"; //...

原创 java i/o流

1、字节流（InputStream、OutputStream）参照物是内存：把数据读到内存中， 输入 ， read 读----入把数据从内存中写到外部设备 ，输出 ，write 写----出读操作：try()中加with rescourse语法（专门用来处理资源文件。） 功能：在调用完资源之后，可以自动的进行流对...

原创 数据库面试题

1、关系型数据库的事务四大特性1.1、Atomicity（原子性）事务不可分割，它所做的对数据修改操作要么全部执行，要么完全不执行。（支持回滚）1.2、 Consistency（一致性）一个事务执行之前和执行之后数据库都必须处于一致性状态。例：假设用户A和用户B两者的钱加起来一共是5000，那么不管A和B之间如何转账，转几次账，事务结束后两个用户的钱相加起来应该还得是5000...

原创 String、StringBuffer与StringBuilder的区别

区别：String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）描述：1、String创建的是不可变的对象,所以每次对 String 类型对象进行改变的时候，其实等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常改变内容的字符串最好不要用 String 。2...

原创 Spark理论

一、Spark的相关概念1、RDDRDD(Resilient Distributed Datasets)，弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限(即只读)的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可...

原创 scala的 case class与class的区别

1、初始化的时候，不需要new，当然你也可以加上，普通类一定需要加上newclass ABC(name:String){ def ff(): Unit ={ }}case class ABC1(name:String){ def ff1(): Unit ={ }}val abc1=ABC1("fg")val abc= new ABC("xx")2、toS...

原创 elasticsearch入门

一、REST操作：GET：获取对象的当前状态；PUT：改变对象的状态；POST：创建对象；DELETE：删除对象；HEAD：获取头信息。二、elasticsearch基本操作index: 索引库 type: 表 id: 分片1、创建一个索引库indexcurl -X PUT http://host:9200/i...

原创 三次握手和四次挥手

1、三次握手1.1 TCP协议TCP协议工作在传输层，是一种可靠的面向连接的数据流协议。TCP之所以可靠，是因为它保证了传送数据包的顺序。顺序是用一个序列号来保证的。响应包内也包括一个序列号，表示接收方准备好这个序列号的包。在TCP传送一个数据包时，它会把这个数据包放入重发队列中，同时启动计时器，如果收到了关于这个包的确认信息，便将此数据包从队列中删除，如果在计时器超时的时候仍然没有收到...

原创 java关键字transient volatile native

transient：（中文含义：短暂的）变量修饰符，当对象进行序列化需要保存在磁盘上时，不希望有些字段数据被保存，为了保证安全性，可以把这些字段声明为transient。（可以理解为是临时字段不需要进行持久化）native：native关键字说明其修饰的方法是一个原生态方法，方法对应的实现不是在当前文件，而是在用其他语言（如C和C++）实现的文件中。Java语言本身不能对操作系统...

原创 Mapreduce

1、mapreduce模型简介：2、mapreduce的体系结构具体功能：（1）Client（2）jobTracker（3）TaskTracker（4）Taskyarn划分：

原创 CAP理论与BASE理论

原创 scala的语法

1、插值字符串def main(args: Array[String]): Unit = { val a=4 println(s"$a") }## 由s与$ 组成2、读文件def main(args: Array[String]): Unit = { val read = Source.fromFile("d:/wc/a.txt") ...

原创 Scala之数组用法

1、map（映射）var arr1=ArrayBuffer(2,3,4,56,9,87,12)var a1=arr1.map(_ * 3)2、flatten（扁平化操作）var arr1=ArrayBuffer("hello c","hello o","hello p","hello p")var q1=arr1.map(_.split(" ")).flatten3、f...

原创 sqoop

Sqoop 导出原理 Sqoop 进行数据导出，总体也是基于 mapreduce 任务。 详细文字描述： 第一步，sqoop 依然会通过 JDBC 访问关系型数据库，得到需要导出数据的元数据信息 第二步，根据获取到的元数据的信息，sqoop 生成一个 Java 类，用来进行数据的传输载体。该类必须实现序列化和反序列化 第三步，启动 mapreduce 作业 第四步，sq...

原创 Hbase基础

1.简介 HBase 是 BigTable 的开源（源码使用 Java 编写）版本。是 Apache Hadoop 的数据库，是建 立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。 HBase 依赖于 HDFS 做底层的数据存储，BigTable 依赖 Go...

原创 Hive之窗口函数

1. SUM(), MIN(),MAX(),AVG()等聚合函数对一定窗口期内的数据进行聚合。示例：SELECT *, SUM(a.pv) OVER (PARTITION BY cookieid ORDER BY create_time ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv1,SUM(a.pv) OVER (PARTIT...

翻译 Hive SQL之case when

1.语法Case具有两种格式。简单Case函数和Case搜索函数。简单Case函数格式：CASE 列名WHEN 条件值1 THEN 选项1WHEN 条件值2 THEN 选项2……ELSE 默认值ENDCase搜索函数：CASEWHEN 条件1 THEN 选项1WHEN 条件2 THEN 选项2……ELSE 默认值END...

原创 Hive高级操作

1. 数据类型1.1基本数据类型 1.2复杂数据类型 示例：CREATE TABLE student( name STRING,favors ARRAY<STRING>, ...

原创 Hive详解

1.Hive 的概念：Hive 由 Facebook 实现并开源 Hive 是基于 Hadoop 的一个数据仓库工具 Hive 存储的数据其实底层存储在 HDFS 上 Hive 将 HDFS 上的结构化的数据映射为一张数据库表 Hive 提供 HQL(Hive SQL)查询功能 Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 Ma...

原创 MapReduce处理求共同好友

//mappackage com.gh.day2_4;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;//A: b,c,f,h,j//B:f,g,d...

翻译 YARN集群

一、概述1. 主节点 ResourceManager**ResourceManager 是基于应用程序对集群资源的需求进行调度的 YARN 集群主控节点，负责协调和管理整个集群（所有 NodeManager）的资源，响应用户提交的不同类型应用程序的解析，调度，监控等工作。ResourceManager 会为每一个 Application 启动一个 MRAppMaster，并且 MRAppMas...

翻译 MapReduce执行流程解读（续）

MapReduce 超详细执行流程解读1、 一个大文件需要处理，它在在 HDFS 上是以 block 块形式存放，每个 block 默认为 128M 存 3 份，运行时每个 map 任务会处理一个 split，如果 block 大和 split 相同（默认情况下确实相同），有多少个 block 就有多少个 map 任务，所以对整个文件处理时会有很多 map 任务进行并行计算2、 每个 map ...

转载 MapReduce简介

** shuffle**Spill过程Spill过程包括输出、排序、溢写、合并等步骤，如图所示：Map任务会不断地以键值对的形式把数据输出到一个环形数据缓冲结构中，使用环形数据结构是为了更有效地使用内存空间，在内存中放置尽可能多的数据。超过自身80%的时候就会溢写到磁盘中。问题（看图思考）1.Merge的作用是什么？2.reduce中merge过程有几种方式，与map有什么相似之处...