云计算
undergrowth
这个作者很懒,什么都没留下…
展开
-
云计算,中国发展的必由之路
IT行业经过了过去三十年高速发展,正在越来越快地改变着人们的生活,我们惊讶的发现2009年一年时间人类产生的数据超过了人类有记录以来所有保存的数据总和。网络的普及带来的是人类数据的快速增长。网络从窄带走向了宽带,从有线走向了无线。网络的不断发展为IT计算架构从本地计算模式及客户端、服务器端并重的传统模式,向以“广泛的网络接入”、“计算、存储、网络的集中资源池化”、“快捷的弹性伸缩”、“按需自助及可转载 2014-08-09 17:35:15 · 591 阅读 · 0 评论 -
spark 2.2.0学习笔记1之概述
spark 2.2.0学习笔记1之概述参考https://github.com/databricks/learning-sparkSpark快速大数据分析.pdf概念基于内存—-快速/通用—-计算Spark 是一个用来实现快速而通用的集群计算的平台生态2009年伯克利分校—-基于mapreduce—-使用scala编写组件上层组件—-spark sql/spark streaming原创 2017-12-19 20:17:56 · 351 阅读 · 0 评论 -
spark 2.2.0学习笔记2之LocalWordCountDemo
spark 2.2.0学习笔记2之LocalWordCountDemoInfo底层—-集群管理器local独立调度器—-Spark自带/默认Hadoop YARNApache Mesos大致源码org.apache.spark.SparkContext#createTaskScheduler 根据master创建TaskScheduler与SchedulerBackend创建DAGS原创 2017-12-19 20:27:15 · 536 阅读 · 0 评论 -
scala 2.11.7学习笔记1之概述
scala 2.11.7学习笔记1之概述参考http://www.runoob.com/scala/scala-file-io.htmlhttp://www.jianshu.com/p/e0fc0ab7a9d2http://blog.csdn.net/fjse51/article/details/52152362Scala编程中文版(33章全).pdf概念名词可扩展语言/是面向对象与函数原创 2017-12-19 20:28:00 · 440 阅读 · 0 评论 -
spark 2.2.0学习笔记4之SparkSQLDemo
spark 2.2.0学习笔记4之SparkSQLDemoInfospark sql—-Spark 用来操作结构化/半结构化数据的程序包从各种数据源读取数据/支持各种方式的sql查询 hive查询支持udf(用户自定义函数)SchemaRDD(DataFrame)—-存放Row 对象的RDD,每个Row 对象代表一行记录 SELECT SUM(user.favouritesCount)原创 2017-12-23 00:20:36 · 888 阅读 · 0 评论 -
spark 2.2.0学习笔记5之SparkStreamingWordCountDemo
spark 2.2.0学习笔记5之SparkStreamingWordCountDemoInfospark streaming—-Spark 提供的对实时数据进行流式计算的组件/微批次架构Spark Streaming 使用离散化流(discretized stream)作为抽象表示,叫作DStreamDStream 是随时间推移而收到的数据的序列 一种是转化操作(transformation原创 2017-12-24 22:09:42 · 279 阅读 · 0 评论