![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkSQL
文章平均质量分 78
Mr云飞
书山有路勤为径,学海无涯苦作舟。锲而舍之,朽木不折;锲而不舍,金石可镂。
展开
-
SparkSQL(2)
1.上节课复习SparkSQL不仅仅是SQL,他还可以处理其他不同的文件系统,并且他不一定需要hive,若想处理Hive俩种方式,一是Hive-site.xml,第二种就是代码url地址直接写成metastore的地址2.为什么不在web界面上设计一些按钮,方面用来操作呢?因为java界面做的数据,大都是mysql,nosql等关系型数据库,这些数据的东西较小,能很快的返回相应的数据,...原创 2018-09-07 20:32:47 · 548 阅读 · 0 评论 -
SparkSQL(1)
上节课回顾(1)kafka的基本架构和核心概念?(2)kafka为什么快?(3)为什么kafka的吞吐量比较高?(4)同一个消息能否被多个消费组消费?(5)不同的组对topic消费,offset概念1.基本概念(1)定义:Spark SQL is a Spark module for structured data processing.(它是结构化数据处理的spark...原创 2018-11-04 22:26:56 · 137 阅读 · 0 评论 -
RDD和DataFrame的区别
1.RDD在创建之后,你知道有这个类,但是你不知道他的内部结构的,DataFrame是以列式存储,它有schema是可以知道的。2.DataRrame比RDD的执行效率要高一点,因为在大数据的处理中,RDD即使用mappartition或者foreachRDD都要消耗不少的core,但是DataFrame他可以进行sql操作,先过滤掉一部分数据,在RDD中是不好实现的。3.SpakSQL在...原创 2018-11-10 19:43:04 · 2385 阅读 · 0 评论 -
Spark面试题(2)
面试题1:Spark中谈谈你对RDD的理解?(1)RDD:Resilient Distributed Datasets(弹性分布式数据集),首先说说RDD的作用,它的出现大大降低了开发分布式应用程序的门槛,比如在其他框架开发分布式应用程序,你需要考虑数据的拆分,数据的隔离,节点之间的通信机制,job的调度,序列化等等。其次,RDD他是一个基础的抽象类,是不可变的,可拆分的,可并行操作的数据集合...原创 2018-11-28 16:04:27 · 723 阅读 · 0 评论 -
SparkSQL(4)
上街课程回顾:上节课主要讲了外部数据源,它的好出事可以加载不同文件系统上的,不同格式的数据(text不行,因为这个数据没有schema),以及外部数据源那几个关系的调用(熟练掌握这个,主要是为了实现自己定义修改数据源,这个可以尝试尝试的)1.如何自定义外部数据源实现可插拔的方式?2.PvUv(1)Pv:url被用户访问的次数(2)Uv:url被不同用户访问的次数(多了一次去重)...原创 2018-12-03 12:15:58 · 273 阅读 · 1 评论 -
SpaekSQL操作创建表报错faied connection localhost 9000
(1)这个报错的原因很简单,就是连接不上hdfs的localhost 9000(NN),那么需要分析问题出在哪了,spark-sql,我这个是操做hive的,所以我们看看hive的配置文件有问题吗,一看该有的都没有,没问题,是不是没拷贝到spark conf下面呢,,看了拷贝了的。(2)那么spark 基本没啥问题了,再想那还用的上hdfs呢?Hive的数据就是存储在hdfs之上,所以我们...原创 2018-09-01 08:05:01 · 481 阅读 · 0 评论