![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Drgom
多做事,少说话
展开
-
pyspark不支持lzo压缩
pyspark的需要hadoop的支持,具体原理也不是很懂,就是很离谱,由于我的pyspark是直接安转在conda的环境上的,昨晚想跑一个文件,抛出一个pyspark无法找到lzo压缩的异常,最后把lzo压缩删除,找到hadoop的core-site.xml把lzo配置注释掉重新启动集群,问题解决。解决不了问题,把提出问题的人解决掉,快乐就是这么简单。注释掉这些 <property> <name>io.compression.codecs</name&原创 2021-09-11 15:14:59 · 188 阅读 · 0 评论 -
pyspark的配置教程
先安转pip install pysparkpip install findspark接下去的操作和其他使用方法没什么差异import findsparkfindspark.init()from pyspark.sql import SparkSessionfrom pyspark import SparkConf,SparkContextsparkconf = SparkConf().setMaster("local[2]").setAppName("appname")spark =原创 2021-09-09 16:55:24 · 268 阅读 · 0 评论 -
spark的rdd,dataframe以及dataset的使用和转化方法
在网上有许多,通过内存的转化方法,因为我是通过读取文件的方法,费了些时间,有用的话点赞收藏下数据的格式如下白山涵月楼酒店 https://hotel.qunar.com/cn/baishan/dt-3266/ 距市中心直线1.5公里 · 市政府 279 47 2021年-04月-13日 14时:50分:36秒 出行专享免费取消钟点房商务出行 1 52 白山 929V5连锁酒店(白山轴承店) https://hotel.qunar.com/cn/baishan/dt-2590/ 距市中心直线1.3公里原创 2021-05-07 14:20:15 · 501 阅读 · 0 评论 -
Spark的Key算子
一 reduceByKey原理spark的根据key进行分区内数据预聚合,再进行最后进行聚合,好处是可以减少网络带宽的传输,适用于值聚合的情况import org.apache.spark.rdd.RDDimport org.apache.spark.{HashPartitioner, SparkConf, SparkContext}object Test11 { def main(args: Array[String]): Unit = { val sparkconf = ne原创 2021-06-07 20:48:07 · 343 阅读 · 3 评论 -
SparkStream整合Kafka
我使用python版的 kafka向sparkstream 发送数据数据格式如下 因为床型存在重复,我会删除第一个床型,如果每段长度为6时。白山涵月楼酒店 大床 双床 ¥702 2021年-04月-19日21时:27分:23秒 白山涵月楼酒店 大床 大床 ¥847 2021年-04月-19日21时:27分:23秒 白山涵月楼酒店 大床 大床 ¥288 2021年-04月-19日21时:27分:23秒 白山涵月楼酒店 大床 大床 ¥302 2021年-04月-19日21时:27分:23秒 V5连锁原创 2021-05-19 22:12:44 · 144 阅读 · 0 评论 -
Spark的集合和zip算子
package com.rdd算子复习import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDobject Test9 { def main(args: Array[String]): Unit = { val sparkconf = new SparkConf().setMaster("local[*]").setAppName("wordcount") val sc =n原创 2021-05-30 21:43:04 · 268 阅读 · 1 评论 -
spark3的打包
网上有很多关于spark如何打包的文章,但有一些是很老的,不适用于spark3版本的scala2.1以上一 导入依赖这是新的版本的scala打包插件要导入依赖 <!-- https://mvnrepository.com/artifact/net.alchim31.maven/scala-maven-plugin --> <dependency> <groupId>net.alchim31.maven</g原创 2021-08-06 22:35:27 · 196 阅读 · 0 评论 -
spark的去重算子
import org.apache.spark.{SparkConf, SparkContext}object Test6 { def main(args: Array[String]): Unit = { val sparkconf = new SparkConf().setMaster("local[*]").setAppName("wordcount") val sc =new SparkContext(sparkconf) val rdd= sc.paralleli原创 2021-06-05 22:50:47 · 729 阅读 · 1 评论