- 博客(20)
- 收藏
- 关注
RSS订阅翻译 Spark之RDD算子操作
概述针对RDD的操作，分两种：一种是Transformation（变换），一种是Actions（执行）。Transformation（变换）操作属于懒操作（算子），不会真正触发RDD的处理计算。变换方法的共同点：1.不会马上触发计算 2.每当调用一次变换方法，都会产生一个新的RDDActions（执行）操作才会真正触发。Transformations Transformation Meaning map(func)
2020-09-23 09:57:28
312
翻译 Spark之RDD介绍
概述Resilient Distributed Datasets (RDDs)Spark revolves around the concept of aresilient distributed dataset(RDD), which is a fault-tolerant collection of elements that can be operated on in parallel. There are two ways to create RDDs:parallelizingan...
2020-09-23 09:34:24
148
翻译 Spark之单机、集群模式安装
单机模式实现步骤：1）安装和配置好JDK2）上传和解压Spark安装包3）进入Spark安装目录下的conf目录复制conf spark-env.sh.template 文件为 spark-env.sh在其中修改，增加如下内容：SPARK_LOCAL_IP=服务器IP地址Spark单机模式启动在bin目录下执行：sh spark-shell --master=local启动后 发现打印消息Spark context Web UI available at ..
2020-09-22 10:43:11
256
1
翻译 Spark之spark VS MR
1、MapReduce存在的问题一个 Hadoop job 通常都是这样的：1）从 HDFS 读取输入数据；2）在 Map 阶段使用用户定义的 mapper function, 然后把结果Spill到磁盘；3）在 Reduce 阶段，从各个处于 Map 阶段的机器中读取 Map 计算的中间结果，使用用户定义的 reduce function, 通常最后把结果写回 HDFS;Hadoop的问题在于，一个 Hadoop job 会进行多次磁盘读写，比如写入机器本地磁盘，或是写入分布式文.
2020-09-22 09:54:12
156
翻译 Spark之简介
Spark介绍Apache Spark™is a fast and general engine for large-scale data processing.Spark IntroduceRun programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk.Apache Spark has an advanced DAG execution engine that support..
2020-09-22 09:46:10
70
转载 Oracle入门----内置函数(一)
一、数值型函数1、绝对值、取余、判断数值正负函数1）ABS(n)函数2）MOD(n2,n1)函数3）SIGN(n)函数2、三角函数3、返回以指定数值为准整数的函数1)CEIL函数----返回大于等于输入参数的最小整数SELECT CEIL(10),CEIL('10.5'),CEIL(-10.2) FROM DUAL; ------10 11 ...
2019-06-03 09:22:18
211
转载 Oracle入门----基本语句(二******)
1、连接查询（1）最简单的连接查询2、内连接3、自连接4、外连接（1）左外连接（2）右外连接（3）全外连接除了返回相匹配的数据外，还将返回不匹配的数据效果图：注：（+）的使用...
2019-05-31 15:14:08
155
转载 Oracle入门----基本语句(一)
1、添加数据(1)直接添加数据INSERT INTO table_name(column_name1,column_name2,...) VALUES(data1,data2);(2)通过其他数据表向表中添加数据2、删除数据3、修改数据4.1、查询数据（排序）（1）排序时对NULL值的处理（2）、使用表达式作为排序字段（3）、...
2019-05-31 14:59:00
2389
转载 Oracle入门----约束
约束是为了保证数据库中表的一致性和完整性1、主键约束添加主键约束ALTER TABLE table_name ADD CONSTRAINTS constraint_name PRIMARY KEY(column_name);移除主键约束ALTER TABLE table_name DROP CONSTRAINTS constraint_name;2、外键约束外键约束可保...
2019-05-30 17:33:10
87
转载 Oracle入门----数据类型
将Mysql与Oracle数据类型相对比Mysql数据类型：1)字符串型VARCHAR：变长的字符串，需要在声明字段时指定能存储的最大字符数，真实占用的空间取决于存入的字符数，存入的越多占用空间越多。适合保存内容长度不定的字符类型数据。能包含数据的大小，mysql5.0以前0~255字节，mysql5.0以后0~65535字节CHAR:定长字符串，需要在声明字段时指定固定字...
2019-05-29 11:57:04
297
转载 Oracle入门----三范式
关系型数据库的设计标准就是数据库的范式，范式分别有第一范式、第二范式、第三范式。第一范式，就是数据库表中的字段都是单一属性的，不可再分。第二范式，就是不存在非关键字段对任一候选关键字段产生部分函数依赖关系。第三范式，就是在数据库表中不存在非关键字段对任一候选关键字段产生传递函数依赖关系。...
2019-05-29 11:23:56
153
转载 MYSQL与ORACLE总结
1. Oracle是大型数据库而Mysql是中小型数据库，Oracle市场占有率达40%，Mysql只有20%左右，同时Mysql是开源的而Oracle价格非常高。2. Oracle支持大并发，大访问量，是OLTP最好的工具。3. 安装所用的空间差别也是很大的，Mysql安装完后才152M而Oracle有3G左右，且使用的时候Oracle占用特别大的内存空间和其他机器性能。4.Oracle...
2019-03-04 13:02:13
108
转载 解决多线程并发安全问题
解决多线程的并发安全问题，java无非就是加锁，具体就是两个方法(1) Synchronized(java自带的关键字)(2) lock 可重入锁 (可重入锁这个包java.util.concurrent.locks 底下有两个接口，分别对应两个类实现了这个两个接口： (a)lock接口, 实现的类为：ReentrantLock类 可重入锁; (b)rea...
2019-02-16 20:16:49
7711
1
原创 微服务SpringCloud
springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 负载均衡调用组件：ribbon, 前端的客户端的组件3 接口客户端组件： feign 底层依赖ribbon+template实现的调用。看不到实际调用的方法，利用接口，注解4 熔断器：Hystr...
2019-02-03 16:57:22
182
转载 时间复杂度和空间复杂度详解
算法的时间复杂度和空间复杂度合称为算法的复杂度。时间复杂度（1）时间频度 一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间...
2019-01-07 23:30:43
163
原创 关于对Java虚拟内存的理解
Java虚拟机管理的内存包括几个运行时数据内存：方法区、虚拟机栈、堆、本地方法栈、程序计数器。堆与方法区是有线程共享的数据区，其他几个是线程隔离的数据区，随着线程的产生而产生，消亡而消亡。1.虚拟机栈虚拟栈是Java方法执行的内存模型，每个方法在执行的同时会创建一个用于存储局部变量表、操作数栈、动态链接、方法出口等信息。每个方法从调用直到完成的过程，就对应着一个栈帧在虚拟机中入栈到出栈的...
2018-12-30 23:55:00
679
原创 ConcurrentMap
ConcurrentHashMap 能够提供比HashTable 更好的并发性能。在你从中读取对象的时候 ConcurrentHashMap 并不会把整个Map 锁住。此外，在你向其中写入对象的时候，ConcurrentHashMap 也不会锁住整个 Map。它的内部只是把 Map 中正在被写入的部分进行锁定。并发导航映射ConcurrentNavigableMapConcurrentH...
2018-12-20 21:10:54
161
原创 Deque双端队列
1）阻塞双端队列BlockingDequeBlockingDeque类是一个双端队列，在不能够插入元素时，它将阻塞住试图插入元素的线程; 在不能够抽取元素时，它将阻塞住试图抽取的线程.deque （双端队列）是“Double结束队列”的缩写。因此，端的双队列的英文一个你可以从任意一端的插入或者抽取元素的队列。BlockingDeque 的使用在线程既是一个队列的生产者又是这个队列的消费...
2018-12-20 20:43:52
131
原创 Queue
1）阻塞队列BlockingQueueBlockingQueue用法：BlockingQueue通常用于一个线程生产对象，而另外一个线程消费这些对象的场景。下图是对这个原理的阐述：一个线程往里边放，另外一个线程从里边取的一个BlockingQueue。一个线程将会持续生产新对象并将其插入到队列之中，直到队列达到它所能容纳的临界点。也就是说，它是有限的。如果该阻塞队列到达了其临界点...
2018-12-20 20:19:24
160
翻译 GC回收机制及算法
概述说起垃圾收集（Garbage Collection，GC），大部分人都把这项技术当做Java语言的伴生产物。事实上，GC的历史比Java久远，1960年诞生于MIT的Lisp是第一门真正使用内存动态分配和垃圾收集技术的语言当Lisp的还在胚胎时期时，人们就在思考GC需要完成的3件事情：1）哪些内存数据需要回收？2）什么时候回收？3）如何回收？当需要排查各种内存溢出，内存泄漏...
2018-12-19 22:25:22
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人