- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅
1原创 scala中多个future的处理逻辑
多核处理器以及并行任务的逐渐普及，人们对异步编程也越来越关注。Scala 标准库中提供的 Future 允许你在得到真正的执行结果之前，就允许通过 map ，filter 等集合操作得到下一个变换之后的异步结果。
2022-09-19 14:49:23
307
原创 Scala 异步编程之 Future
同步异步，阻塞非阻塞，在IO模型中几个概念组合在一起不是很容易理解，但是只从代码执行的角度看同步异步是很清晰的
2022-09-19 14:11:08
270
原创 Scala中reduceBykey和groupBykey的区别
在大数据面试中这是重点。它们有一个相同点就是存在shuffle操作，数据都会被打乱重组，这样的话，我们就不能在内存里面进行数据处理，因为这样可能会导致内存溢出，原因在于内存处理数据要汇总个分区的数据这样会出现数据等待。1：所以这两个方法都必须的落盘处理，在落盘处理时它们的区别就出现了，reduceyBykey它支持分区内数据预聚合功能，可以有效减少shuffe时落盘的数据量，提升shuffe的性能，但是groupBykey只是进行分组，不存在数据量减少的问题，说以性能不高。...
2022-08-16 13:13:13
239
原创 如何安装Scrapy爬虫框架-详细讲解
一 :windows下安装Scrapy爬虫框架废话不多说直接上教程1，打开终端，在编辑器的终端和window下的也行输入命令pip install Scrapy2,大部分情况下第一步总会出现错误，因为我们pip安装的scrapy依赖是从python官方包里下载的，而有一些包是第三方的，需要我们来自己手动来安装3，例如有一个重要的包twisted你就得从网站上找到安装文件来安装twisted是一个异步网络框架，是scapy的重要组成部分，好了去网站下载安装文件地址：好多python第三方扩展包
2020-11-27 11:32:28
1003
原创 如何在ubuntu中简单快速安装google Chrome如果你也经卸载了firefox.
1.因为在ubuntu中卸载了firefox浏览器，没办法在ubuntu中下载google chrome的deb版。2.如果你的虚拟机安装了vmware tools那就可以将文件下在windows上再将文件拖到ubuntu的桌面点击文件即可安装，就是这么的简单3.我的例子如下：4.在百度搜 chrome for linux：5点击第一个出现了如下界面然后在点击6.下载完成后找到文件我们可以看到在windows里它是一个压缩文件我们需要用鼠标把它托到ubuntu桌面上就会看到是deb格式了。
2020-06-10 11:06:54
663
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人