- 博客(7)
- 收藏
- 关注
RSS订阅原创 PySpark算子处理空间数据全解析（2）： 啥是算子（2）
上篇文章说到，算子实际上就是一种操作，在计算机里面就是一个函数，这篇文章说说Spark里面的算子的分类：Spark里面的算子一共有两种，一种称之为Tranformati...
2019-01-30 08:57:28
331
原创 PySpark算子处理空间数据全解析（2）： 啥是算子（1）：RDD
说到蒜子嘛，不就是：额，不对啊，那蒜子就应该是：那么我只能表示：那么，到底什么是算子呢？算子实际上Spark里面的一种专业术语，实际上就是一种函数，但是与传统函数不一样的是，它进行的状态的转换。比如：将小鸡变成KFC全家桶，之间就有好多个步骤，那么每个步骤实际上就是一个算子。要说算子，首先就要先说说Spark里面的一个核心概念：RDDRDD的全称叫做...
2019-01-28 17:39:02
1537
3
原创 PySpark算子处理空间数据全解析（1）： windows模拟开发环境搭建
Spark是个灰常强大的东西……实际上要说分布式集群神马的，Spark和hadoop一类的分布式计算框架，作为此轮大数据浪潮的尖刀，各种摧城拔寨，所向披靡，但是你真的对Spark的强大有所了解么？我们先来看看Spark能干嘛，万能的广告平台某度的主页面：翻了N页之后，发现所谓的实战，99%是针对电商领域的应用，不管是什么日志分析、行为分析什么，就咋们做画地图的同学来说，这些个所...
2019-01-27 18:30:22
924
原创 PySpark算子处理空间数据全解析（1）：windows模拟开发环境搭建
Spark是个灰常强大的东西……实际上要说分布式集群神马的，Spark和hadoop一类的分布式计算框架，作为此轮大数据浪潮的尖刀，各种摧城拔寨，所向披靡，但是你真的对S...
2019-01-25 18:01:58
387
原创 擦除与联合引起的祸事
土地变化监测是自然资源领域业务中最核心的部分之一：每个年度，那些地块的用地类型发生了变化，从什么类型变成了什么类型，哪种类型增加了多少，哪种类型减少了多少，这是国土业务中...
2019-01-24 17:58:24
209
原创 关于使用天地图的重要通知
天地图是我国最权威的地图出口，使用天地图作为背景地图，可以有效的规避各种政治风险，让中国测绘部门给咋们背书，所以一直是非常省事的事情。但是大家发现自从2019年开始，天地...
2019-01-17 18:30:47
1409
原创 新年第一flag：第四代编程语言篇
又到了一年一度立flag的时候，每次这个这个，虾神都：但是结果往往都是：去年立下的50+文章的flag，到现在为止完成了26篇……刚刚过了一半，感觉就像好吧， 虽然是这样...
2019-01-07 17:47:56
860
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人