大数据Spark SQL慕课网日志分析

于 2021-07-18 14:29:11 发布
阅读量159 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niwoxiangyu/article/details/118877010
版权

第1章 初探大数据

本章将介绍为什么要学习大数据、如何学好大数据、如何快速转型大数据岗位、本项目实战课程的内容安排、本项目实战课程的前置内容介绍、开发环境介绍。同时为大家介绍项目中涉及的Hadoop、Hive相关的知识

第2章 Spark及其生态圈概述

Spark作为近几年最火爆的大数据处理技术，是成为大数据工程师必备的技能之一。本章将从如下几个方面对Spark进行一个宏观上的介绍：Spark产生背景、特点、发展史、Databricks官方调查结果、Spark与Hadoop的对比、Spark开发语言及运行模式介绍 ...

theo.wu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark SQL 入门到精通到项目实战的世界（全套日志分析）日志文件
11-28
慕课网Spark SQL 入门到精通到项目实战的世界（全套日志分析）日志文件
基于大数据 Spark SQL的日志分析 视频教程 虚拟主机 和 data文件
07-02
给想学大数据的人，很好的参考，举一反三，链接失效留言
Spark项目学习-慕课网日志分析-days2-Spark SQL
canglan211的博客
10-06 5507
1.Spark SQL 概述 （1）为什么需要SQL 1）事实上的标准 2）简单易学 Hive：类似于sql的Hive QL语言 sql==>mapreduce    特点：基于mapreduce    改进：基于tez spark Spark：分布式的基于内存的计算框架 hive on spark ==> shark（hive on spark）     优点：基于...
日志分析 进入大数据Spark SQL的世界
厚积薄发
03-28 620
以慕课网日志分析为例 进入大数据 Spark SQL 的世界 这篇blog是这个项目的总结，因为从别的地方学习过Hadoop、Spark的一些基础知识了，所以这部分略过。针对自身的不足，我抛出一些问题，自己思考。 什么是大数据？大数据公司的现存模式？ Hadoop生态圈长什么样子？ spark为什么这么快？ spark vs mapreduce 自己编译一套spark的源码来使用 spark...
Spark项目学习-慕课网日志分析-days4-慕课网日志分析
canglan211的博客
10-06 5896
一 慕课网日志分析实战项目     1）用户行为日志概述     2）离线数据处理架构（数据如何采集，如何清洗，需求处理，写入数据库，可视化）     3）项目需求     4）功能实现     5）Spark on YARN （90%公司将Spark跑在YARN上）     6）性能调优   1. 用户行为日志概述     1）用户行为日志：用户每次访问网站时所有的行为数据（访...
Spark项目学习-慕课网日志分析-days3-DataFrame&Dataset
canglan211的博客
10-06 5241
1.DataFrame     1）不是Spark SQL提出的，而是早期在R，Pandas中产生的     2）DataFrame是一个以列（列名、列的类型、列值）的形式构成的分布式的数据集，按照列赋予不同的名称     3）是关系型数据库中的一张表或者是R/Python中的一个dataframe概念，但是具有更多优化   2.DataFrame对比RDD（DataFrame能够具有更...
日志分析 进入大数据Spark SQL的世界-附件资源
03-02
日志分析 进入大数据Spark SQL的世界-附件资源
大数据Spark技术数据分析综合实验
06-25
上传的GPS点作为分析对象，使用Kmeans把出租车轨迹点聚类,找出出租车出现密集的地方，并用地图的方式进行可视化展示。 实验内容： (1) 数据的准备。 (2)创建DataFrame。 (3)使用kmeans聚类。 (4)聚类结果可视化。 ...
摸鱼大数据-Spark SQL-Spark SQL函数定义
最新发布
06-29
Spark SQL函数定义资源
Spark SQL 入门到精通到项目实战的世界，日志文件100行
12-18
Spark SQL 入门到精通到项目实战的世界，日志文件100行
SparkSQL日志分析用户行为日志
12-18
以慕课网日志分析为例 进入大数据 Spark SQL 的世界用户行为日志加浏览器用户行为日志
spark apache日志分析、流数据处理教程
02-06
Databricks Spark Reference Applications spar日志分析、流数据处理 java8代码
Spark SQL Introduction
07-01
关于spark sql的英文讲义，通过讲义的学习，可以对spark sql有一定的了解
Spark SQL慕课网日志分析（1）--系列软件(单机)安装配置使用
dingpangxie3730的博客
06-19 157
来源： 　　慕课网 Spark SQL慕课网日志分析_大数据实战 目标： 　　spark系列软件的伪分布式的安装、配置、编译 　　spark的使用 系统： 　　mac 10.13.3 /ubuntu 16.06，两个系统都测试过 软件： 　　hadoop，hive，spark，scala，maven 　　hadoop伪分布式、spark伪分布式 详细： 　　soft...
Spark项目学习-慕课网日志分析-days5-Spark on Yarn
canglan211的博客
10-06 5380
1. 概述     （1） 在Spark中，支持4种运行模式：     1）local:开发时使用     2）standalone：是Spark自带的，如果一个集群是Standalone的话，那就需要在多台机器上同时部署Spark环境（不推荐）     3）YARN：建议使用，统一使用YARN进行整个集群作业（MR,Spark）的资源调度     4）Mesos：国内用的少 不管使用...
黑马Python + 人工智能学习笔记
baidu_39170835的博客
06-25 342
想成为一名合格的Python工程师需要必备哪些技术点呢？ 1、以慕课网日志分析为例 进入大数据 Spark SQL 的世界 2、10小时入门大数据hadoop 3、实战课程Spark Streaming实时流处理项目实战 4、学习Scala进击大数据Spark生态圈 5、掌握Spark机器学习库 大数据开发技能更进一步 6、大数据入门第一课 Hadoop基础知识与电商网站日志数据分析 7、新一代大数据计算引擎 Flink从入门到实战 8、Spark进阶 大数据离线与实时项目实战 9、Spark + Elas
以慕课网日志分析为例 进入大数据 Spark SQL 的世界 ---课程笔记--未完待续
80后大叔爱学习
10-08 1740
第一章 初探大数据 1、什么是大数据？ 大数据特征：4V 数据量(Volume) PB、EB、ZB 给予高度分析的新价值(Value) 巨额数据里面提取需要的高价值数据 速度(Velocity) 实时流处理，电商推荐系统，在你浏览或买过商品，按照先关信息给你推荐 ......
第9章 慕课网日志实战
weixin_38492276的博客
08-14 936
9-1 -课程目录 9-2 -用户行为日志概述 为什么要记录用户访问行为日志？ 网站页面的访问量 网站的粘性 推荐 用户行为日志 Nginx ajax 用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击...) 用户行为轨迹、流量日志 日志数据内容 1）访问的系统属性:操作系统，浏览器等等 2）访问特征：点击的url，从哪个URL跳转过来...
日志分析 进入大数据spark sql的世界
03-16
而进入大数据Spark SQL的世界，则是指使用Spark SQL这个基于Spark的分布式计算框架，对大规模数据进行处理和分析。通过将日志数据导入Spark SQL中，可以利用其强大的数据处理和分析能力，快速地发现数据中的规律和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值