Flychuer的专栏

python常用功能总结。

【代码】Hive建表语句。

withScope就像是一个 AOP（面向切面编程），嵌入到所有RDD 的转换和操作的函数中，RDDOperationScope会把调用栈记录下来，用于绘制Spark UI的 DAG（有向无环图，可以理解为 Spark 的执行计划）。下文中两个 RDD 的关联中，两个 RDD 分别称为 rdd1、rdd2。同样是多个源 RDD 依据 key 关联，key 相同的做排序或聚合运算，形成最终的目标 RDD。多个源 RDD 依据 key 关联，key 相同的合并，形成最终的目标 RDD。在分区中采样的RDD。

这句话创建了一个包含slices个分区的 RDD，RDD 的内容是1到 n，这 n+1 个数。计算x*x+y*y，这是点(x, y)到(0, 0) 的距离，当距离不大1（点落在r=1的圆内）时，取1，否则取0。解释：不可变的，这和 Scala 的设计理念相同，数据集一旦构建完成，就不能再修改，这样能轻松解决多个线程读数据的一致性问题。RDD是Spark的基础，是对大数据的抽象，所以先破解Spark，首先从RDD开始。那么随机取 N 个点，点落圆内的几率等于圆的面积／边长为2的正方形的面积。

数据不动代码动的最高境界是数据就在当前节点的内存中。有一点非常重要，就是由于RDD有前后依赖关系，遇到宽依赖关系，例如，遇到reduceBykey等宽依赖操作的算子，Spark将根据宽依赖划分Stage，Stage内部通过Pipeline操作，通过Block Manager获取相关的数据，因为具体的split要从外界读数据，也要把具体的计算结果写入外界，所以用了一个管理器，具体的split都会映射成BlockManager的Block，而具体split会被函数处理，函数处理的具体形式是以任务的形式进行的。

hive数据类型分为简单数据类型和复合数据类型。简单数据类型：数值类型、布尔类型、字符类型、时间类型、BINARY类型。复合数据类型：arrays、maps、structs、union。

Scala数据类型及类型转换

Scala标识符命名规则

Scala变量声明和规则

2、在弹出窗口中选择输入文件，并修改Extra command args:--default-character-set=utf8，防止中文乱码，点击开始按钮。1、右键库名，点击工具-->执行脚本。

锁是解决事务隔离性的一种内部机制，有关锁的详细介绍，请参考：https://blog.csdn.net/Flychuer/article/details/120766168本篇主要用一些示例来解释锁。版本：Red Hat Linux 6、Oracle 11.2工具：PL/SQL Developer说明：为了方便查看锁，本篇采用了大批量操作数据，可根据个人机器性能，调整操作数据的条数。一、准备工作1.1、测试表创建一张测试表CST_TRANCREATE TABLE CST_T

目录一、查看执行计划的方式1.1、设置autotrace1.2、使用第三方工具1.3、EXPLAIN PLAN FOR二、清除SGA缓存三、分析执行计划3.1、创建测试表3.2、查看执行计划3.2.1、执行计划3.2.2、谓词说明：3.2.3、统计信息四、部分信息解释4.1、SQL*Net roundtrips to/from client的计算方式4.2、consistent gets今天谈一谈Oracle查看执行计划的方式，以及怎样看执行计划。

1、什么是集合Java 的集合就像一个容器，用来存储 Java 类的对象。2、集合与数组的区别长度：集合长度可变；数组长度固定。保存对象：集合只能保存引用数据类型；数组既可以保存引用数据类型，又可以保存基本数据类型元素内容：集合可以保存不同类型的数据（其实在使用中也是保存同一类型的数据，使用泛型限制）；数组保存同一类型数据3、集合包含哪些包含：List、Set、Map4、List和Set的区别有序性：List有序；Set无序。唯一性：List元素可以重复；S

一、常用数据类型在Oracle数据库中，经常使用的数据类型包含：number、varchar2、char、date、long、clob、blob。1.1、numbernumber数据类型既可以用作表中字段的数据类型，也可以用作代码快中变量的数据类型。number数据类型占用字节范围1-22。参数介绍NUMBER（precision，scale）precision表示数字中的有效位;如果没有指定precision的话，Oracle将使用38作为精度。 如果scale...

Oracle锁机制深度分析 一、概述 二、Oracle两种锁机制 三、Oracle锁类型 1、 DML锁 1）、TM锁 2）、TX锁 2、 DDL锁 1）、排它的DDL锁定(Exclusive DDL Lock) 2）、共享的DDL锁定(Shared DDL Lock ) 3）、可打破的解析锁定(Breakable Parsed L...

oracle数据库的表中的每一行数据都有一个唯一的标识符，或者称为rowid，在oracle内部通常就是使用它来访问数据的。rowid需要 10个字节的存储空间，并用18个字符来显示。该值表明了该行在oracle数据库中的物理具体位置。可以在一个查询中使用rowid来表明查询结果中包含该值。 保存rowid需要10个字节或者是80个位二进制位。这80个二进制位分别是： 1. 数据对象编号，表明此行所属的数据库对象的编号，每个数据对象在数据库建立的时候都被唯一分配一个编号，并且此编号...

说明：本地可以联网时，选择桥接模式最简单。1、首先打开主机的网络和共享中心，如图，VMnet1对应虚拟机的仅主机模式，VMnet8对应nat模式，以太网那个对应的就是桥接模式。由于没连网线，使用不了桥接模式，在这里就可以用另外两种方式让主机和虚拟机相连接。2、这里就说一下nat模式。那么就要先给VMnet8配置ip，右击属性配置即可。（我配的是192.168.90.1，你可随意。）3、VMware要做相应配置，如图，点击编辑，出现 虚拟网络编辑器。4、点击虚拟网络编辑器，出现如.

1、什么是数组2、一维数组2.1、声明和创建2.2、初始化2.3、遍历2.4、内存分析3、二维数组3.1、声明和创建3.2、初始化3.3、遍历3.4、内存分析4、多维数组

目录1、面向对象思想1.1、面向对象定义1.2、面向对象与面向过程的区别1.3、类的对象2、三大基本特征2.1、封装2.2、继承2.3、多态多态优点：多态存在三个必要条件：3、补充：抽象Java 是面向对象的高级编程语言，类和对象是 Java 程序的构成核心。围绕着 Java 类和 Java 对象，有三大基本特性：封装、继承、多态。封装是 Java 类的编写规范，继承是类与类之间联系的一种形式，而多态为系统组件或模块之间解耦提供了解决方案。1、面向..

Java语言中定义了很多关键字，比如this、supper、static、final、public、private等等。不同的关键字的用途不同，相同关键字用在不同的地方，作用也不同。本章挑选一些特殊关键字，分析它们的用法和用途。1、this关键字this表示对当前对象的引用，指向的是当前对象。当前对象指的是当前正在调用实例的成员对象，换言之：谁调用了方法，谁就是当前对象。用法：调用类中的属性：this.属性名称，指的是访问类中的成员变量，用来区分成员变量和局部变量（重名问题）。可以在构造方法

目录运算符优先级表"&&"和"&""i++"和"++i"计算机的最基本用途之一就是执行数学运算，作为一门计算机语言，Java也提供了一套丰富的运算符来操纵变量。运算符优先级表 优先级 符号 名称 结合性(与操作数) 目数 说明 1 . 点 从左到右 .

String类是一个很常用的类，它位于java.lang包下，是Java语言的核心类，用来保存代码中的字符串常量的，并且封装了很多操作字符串的方法。下面看一个定义String类型变量并初始化的例子：String str = "abc";从上面代码中可以看出，String类型的变量可以像基础数据类型的变量一样，可以不使用new关键字创建对象，貌似直接把字符串“abc”赋值给了str变量。那么，变量str中保存的是“abc”还是“abc"的引用？为什么不用new String("abc")的方式创建S

首先“==”是运算符号，比较的是“==”两边变量的值；equals是Object类的一个方法，Object是所有类的父类，所以所有类都可以使用equals方法，在没有被重写的情况下，equals方法是用来比较两个对象的引用是否相等，即是否指向同一个对象。下面看一段代码package com.flychuer;public class TestMain { public static void main(String[] args) { int a1 = 10;

目录一、安装二、设置三、project和module的区别四、项目创建4.1、空项目4.2、Java项目4.3、JavaWeb项目4.4、maven管理的JavaWeb项目四、常见问题一、安装待补充二、设置待补充三、project和module的区别3.1、什么是project官方说明：Development in IntelliJ IDEA starts with a project. Projects help you orga..

在jsp页面中使用JSTL标签前，需要先导入依赖的jar包，并使用taglib指令将标签库描述符文件导入到jsp页面中。JSTL1.1及之前的版本导入的jar包有两个：jstl.jar和standard.jar。到了1.2的版本，只需要jstl.jar一个jar包。JSTL1.1及之前的taglib指令写法：<%@ taglib prefix="c" uri="http://java.sun.com/jstl/core" %>JSTL1.2 taglib指令写法<