bigdata
仁鱼
这个作者很懒,什么都没留下…
展开
-
spark和flink的异同。
今天在StackOverflow上看到一个问题解答,很好的解释了spark和flink的区别。转到这里并做整理存以笔记以备日后学而时习之。原文地址:https://stackoverflow.com/questions/28082581/what-is-the-difference-between-apache-spark-and-apache-flink问:apache spark 与 flin...转载 2018-04-24 13:15:44 · 23456 阅读 · 0 评论 -
spark笔记(一)部署
由于条件限制,只能在虚拟机调试部署宿主机为dell inspiron 14R SE 7420虽然是老掉牙的机器,不过加个SSD再战2年应该问题不大,具体配置 : cpu intel i7 3612QM,内存 8G ddr3 ,硬盘 256SSD + 1T机械OS Windows10 RS4_17134.1虚拟化平台为 VirtualBox 5.2.8集群所有虚拟机均配置为 4G内存,1核CPU...原创 2018-04-19 23:05:18 · 303 阅读 · 0 评论 -
大数据及大数据框架
信息产业(IT)发展至今,计算要的主要工作之一就是处理各种类型和各种来源的数据。大数据(BigData)是一种规模庞大的数据集合,一般单台计算机的能力范围无法对数据集进行获取、存储、管理和分析。因此大数据又和云计算和分布式集群密不可分。大数据是互联网发展至今一个时代的产物。所以并没有什么神密和复杂之处。IBM曾提出大数据的5大特性(5V特性),即Volume(大量)、Velocity(高速)、Va...原创 2018-04-25 23:45:15 · 6428 阅读 · 1 评论