Spark SQL
weixin_SAG
这个作者很懒,什么都没留下…
展开
-
第1章 初探大数据
1、1导学功能实现统计imooc(慕课网)主站最受欢迎的课程/手记的Top N访问次数按地市统计imooc主站最受欢迎的Top N课程按流量统计imocc主站最受欢迎的Top N课程大数据的到来任职要求.熟悉Linux操作系统,熟悉Linux shell 编程.熟悉Java或者scala语言,具有一年以上实际开发经验.熟悉spark sql 或 ...原创 2019-08-25 19:57:21 · 583 阅读 · 0 评论 -
第9章 慕课网日志实战
9-1 -课程目录9-2 -用户行为日志概述为什么要记录用户访问行为日志?网站页面的访问量网站的粘性推荐用户行为日志Nginx ajax用户行为日志:用户每次访问网站时所有的行为数据(访问、浏览、搜索、点击...)用户行为轨迹、流量日志日志数据内容1)访问的系统属性:操作系统,浏览器等等2)访问特征:点击的url,从哪个URL跳转过来...翻译 2019-08-14 14:08:30 · 937 阅读 · 13 评论 -
第8章 SparkSQL愿景
8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性)8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口)8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持)8-4 -D SparkSQL愿景之一些更少的代码(Schema推导)源码地址:htt...翻译 2019-08-25 19:53:43 · 259 阅读 · 0 评论 -
第7章 External Data Source
7-1 -课程目录7-2 -产生背景用户:方便快速从不同的数据源(json,parquet,rebms),经过混合处理(Json,join,parquet),再将处理结果以特定的格式(json,parquet)再写回到指定的(HDFS,s3)上去Spark SQL1.2==>外部数据源API7-3 -概述没有本次课7-4 -...原创 2019-08-25 19:54:36 · 173 阅读 · 0 评论 -
第6章 DateFrame&Dataset
6-1 -课程目录6-2 -DataFrame产生背景DataFrame它不是spark SQL提出的,而是早期在R,Pandas语言就已经有了的。6-3 -DataFrame概述6-4 -DataFrame和RDD的对比RDD:java/scala==>jvmpython==>python runtimeD...原创 2019-08-25 19:54:52 · 225 阅读 · 0 评论 -
第5章 从Hive平滑过渡到Spark SQL
5-1 -课程目录5-2 -A SQLContext的使用The entry point into all functionality in Spark SQL is theSQLContextclass, or one of its descendants. To create a basicSQLContext, all you need is a SparkConte...原创 2019-08-25 19:55:20 · 588 阅读 · 0 评论 -
第4章 Spark SQL概述
4-1 课程目录Spark SQL前世今生 SQL on Hadoop常用框架介绍Spark SQL概述 Spark SQL愿景Spark SQL架构4-2 -Spark SQL前世今生为什么使用SQL1)事实上的标准 2)简单易用 3)受众面大文本文件统计分析id,name,age,city1001,zhangsan,45,beijing1002,k...原创 2019-08-25 19:55:59 · 442 阅读 · 0 评论 -
第3章 实战环境搭建
3-1课程目录实战环境搭建Spark 源码编译 Spark环境搭建 Spark 简单使用3-2 -Spark源码编译1、下载到官网(源码编译版本)(http://spark.apache.org/downloads.html)wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz2、编译步...原创 2019-08-25 19:56:14 · 552 阅读 · 1 评论 -
第2章 Spark及其生态圈概述
2-1课程目录1、Spark及生态圈概述Spark产生背景 Spark 概述及特点Spark发展历史 Spark SurveySpark对比Hadoop Spark和Hadoop的协作性Spark开发语言 Spark运行模式2-2 -Spark概述及特点官网:https://spark.apache.org/1、概述Apache Spark™is a unif...原创 2019-08-25 19:56:34 · 768 阅读 · 0 评论 -
第10章 Spark SQL扩展和总结
10-1 -课程目录10-2 -Spark SQL使用场景10-3 -Spark SQL加载数据10-4 -DataFrame与SQL的对比10-5 -Schema10-6 -SaveMode10-7 -处理复杂的JSON数据...翻译 2019-08-14 14:06:36 · 241 阅读 · 0 评论