- 博客(9)
- 收藏
- 关注
RSS订阅原创 spark结构流总结
结构化数据流总览: 1、结构化流是可扩展，有容错机制的基于Spark Sql引擎的流处理引擎。我们可以像执行静态数据计算一样处理流计算，以为接口都已经封装好了。Spark Sql处理引擎会根据连续不断的流数据增量、连续地更新最终的结果。我们可以使用spark相关api进行流数据的聚合，event-time windows，Stream-to-batch join等。计算都是在经过优化的 spar...
2018-12-25 11:18:58
583
转载 DataSet与DataTable的区别
DataSet相当于内存中的数据库，是一种不依赖于数据库的独立数据集合。即使断开数据库连接或者关闭数据库，DateSet依然是可用的。DataSet的功能强大，有浏览、排序、搜索、过滤、处理分级数据、缓存更改等功能。 dataset中可包含多个datatable，将多个查询结构存到一个dataset中 在实际应用中，dataset的使用方法一般有三种： （1）把数据库中...
2018-08-09 11:09:48
2500
转载 消息队列的使用场景
转自：www.cnblogs.com/stopfalling/p/5375492.html 1异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种1.串行的方式；2.并行方式。 （1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。（架构KKQ：466097527，欢迎加入） （2）并行方式：将注册信...
2018-07-29 16:50:41
127
转载 redis相关内容初步了解
（1）什么是redis? Redis 是一个基于内存的高性能key-value数据库。 (有空再补充，有理解错误或不足欢迎指正) （2）Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每...
2018-07-18 17:04:15
192
转载 hashmap和hashtable的区别
HashMap和Hashtable的比较是Java面试中的常见问题，用来考验程序员是否能够正确使用集合类以及是否可以随机应变使用多种思路解决问题。HashMap的工作原理、ArrayList与Vector的比较以及这个问题是有关Java 集合框架的最经典的问题。Hashtable是个过时的集合类，存在于Java API中很久了。在Java 4中被重写了，实现了Map接口，所以自此以后也成了Java
2017-08-07 08:46:44
162
转载 java对象的序列化与反序列化
对象序列化的目标是将对象保存在磁盘中或者在网络中进行传输。实现的机制是允许将对象转为与平台无关的二进制流。 java中对象的序列化机制是将允许对象转为字节序列。这些字节序列可以使Java对象脱离程序存在，从而可以保存在磁盘上，也可以在网络间传输。 对象的序列化是将一个Java对象写入IO流；与此对应的，反序列化则是从IO流中恢复一个Java对象。 实现序列化 如果要将一个j
2017-07-28 07:29:01
188
转载 java多线程之wait，notify，notifyall
本文主要学习JAVA多线程中的 wait()方法 与 notify()/notifyAll()方法的用法。 ①wait() 与 notify/notifyAll 方法必须在同步代码块中使用 ②wait() 与 notify/notifyAll() 的执行过程 ③中断 调用wait()方法进入等待队列的 线程 ④notify 通知的顺序不能错 ⑤多线程中测试某个条件的
2017-07-26 11:48:04
202
转载 线程问题
1) 什么是线程？ 线程是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。程序员可以通过它进行多处理器编程，你可以使用多线程对运算密集型任务提速。比如，如果一个线程完成一个任务要100毫秒，那么用十个线程完成改任务只需10毫秒。Java在语言层面对多线程提供了卓越的支持，它也是一个很好的卖点。欲了解更多详细信息请点击这里。 2) 线程和进程有什么区别？
2017-07-25 10:09:35
143
转载 hashMap的工作原理
HashMap的工作原理是近年来常见的Java面试题。几乎每个Java程序员都知道HashMap，都知道哪里要用HashMap，知道Hashtable和HashMap之间的区别，那么为何这道面试题如此特殊呢？是因为这道题考察的深度很深。这题经常出现在高级或中高级面试中。投资银行更喜欢问这个问题，甚至会要求你实现HashMap来考察你的编程能力。ConcurrentHashMap和其它同步集合的引入
2017-07-25 09:23:31
164
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人