![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Bright Huang
这个作者很懒,什么都没留下…
展开
-
Spark Graphx航班分析
fly.csv文件下载链接: https://pan.baidu.com/s/1rDcrRxmXMpMIJyOp48zKAw提取码: erd9package Flyimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.graphx._/** * @Author Bright * @Date 2020/11/27 * @Description */object AirportsFenXi原创 2020-12-04 17:11:35 · 329 阅读 · 0 评论 -
Spark Graphx 算法(Connected Components算法和Pregel算法)
数据文件下载链接: https://pan.baidu.com/s/1AHSbfrweBPfkqPyWAImwAw 提取码Spark Graphx 算法1.Connected Components算法实例扩展分析:2.Pregel算法 求顶点5 到 其他各顶点的 最短距离输出结果:1.Connected Components算法实例参考链接:https://www.jianshu.com/p/8b0a4ce52703package suanfaimport org.apache.spark.g原创 2020-12-04 17:04:54 · 596 阅读 · 0 评论 -
SparkSql 实现日志数据处理及分析(以空格为分隔符)
SparkSql 实现日志数据处理及分析1、test.log 文件下载链接:链接: https://pan.baidu.com/s/10Zqq1A_ng18YbSd0SlCyFQ提取码: 5xx72、数据清洗使用Spark完成下列日志分析项目需求:日志数据清洗用户留存分析活跃用户分析活跃用户地域信息分析用户浏览深度分析读入日志文件并转化为RDD[Row]类型按照Tab切割数据过滤掉字段数量少于8个的对数据进行清洗按照第一列和第二列对数据进行去重过滤掉状态码非200过滤掉ev原创 2020-11-27 12:19:38 · 1422 阅读 · 0 评论 -
sql练习50题 SparkRDD版本(含spark-shell 连接mysql方法)
Spark-shell连接MySQL将hive/conf里面的 hive-site.xml复制到spark/conf/将hive/lib里面的mysql-connector-java-5.1.38.jar复制到spark/jars/需要重新启动spark-shell读取MySQL文件,返回一个dataFrame[root@hadoop001 software]# mysql -uroot -pokmysql> create database school;Query OK, 1 r原创 2020-11-26 19:20:56 · 366 阅读 · 0 评论 -
Spark graph图处理人际亲密度 笔记(spark-shell版本和idea scala版本 有maven依赖)
user.txt 文件内容:2 12 44 15 25 35 63 63 2package Graphimport org.apache.spark.sql.SparkSession// 导入Spark Graph包import org.apache.spark.graphx._object GraphStu { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().原创 2020-11-26 17:12:04 · 326 阅读 · 0 评论 -
Spark Graphx学习笔记(粉丝计算实例,pageRank算法 有maven依赖)
package Graphimport org.apache.spark.sql.SparkSession// 导入Spark Graph包import org.apache.spark.graphx._/** * @Author Bright * @Date 2020/11/23 * @Description 用的最多的就是模式匹配和柯里化 Graph算法:PageRank */object GraphStu { def main(args: Array[String原创 2020-11-26 17:07:04 · 598 阅读 · 0 评论 -
Spark解析json格式文件(spark-shell和Idea scala版本)
scala> val fileRDD=sc.textFile("hdfs://192.168.116.60:9000/kb09file/op.log")scala> val jsonStrRDD=fileRDD.map(x=>x.split('|')).map(x=>(x(0),x(1)))scala> val jsonRDD=jsonStrRDD.map(x=>{var jsonStr=x._2;jsonStr = jsonStr.substring(0,j.原创 2020-11-22 17:06:47 · 517 阅读 · 0 评论 -
Spark SQL 自定义函数实例(UDF、UDAF、UDTF)
Spark SQL UDF(自定义函数)实例(UDF、UDAF、UDTF)UDF函数分类及说明UDF分为三种:UDF :输入一行,返回一个结果 ;一对一;比如定义一个函数,功能是输入一个IP地址,返回一个对应的省份UDAF:输入多行,返回一行;aggregate(聚合),count,sum这些是spark自带的聚合函数,但是复杂的业务,要自己定义UDTF:输入一行,返回多行(hive);一对多;sparkSQL中没有UDTF,spark中用flatMap即可实现该功能自定义UDF函数及使用1.原创 2020-11-17 18:54:24 · 1144 阅读 · 0 评论 -
Spark SQL操作外部数据源实例(Parquet文件、MySQL、Hive、内置函数、自定义函数)
maven依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> <原创 2020-11-17 09:45:01 · 377 阅读 · 0 评论 -
Spark-submit 提交jar包操作hdfs上的文件完成WordCount功能(有打jar包过程)
Spark-submit 提交jar包执行WordCount功能1. word.txt文件内容2. MAVEN依赖3. properties文件创建4. Scala代码5. 打jar包过程6. 开启Spark7. 执行jar包8. 结果在 hdfs上 查看结果文件1. word.txt文件内容hello worldhello kb09hello hehe在hdfs上新建kb09file2文件夹hdfs dfs -mkdir /kb09file2将word.txt上传到hdfshdfs原创 2020-11-13 11:43:13 · 2191 阅读 · 0 评论 -
SparkRDD算子(五)保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile......
SparkRDD算子(五)保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile......1. saveAsTextFile指定压缩格式保存saveAsSequenceFilesaveAsHadoopDatasetsaveAsNewAPIHadoopFile1. saveAsTextFiledef saveAsTextFile(path: String): Unitdef saveAsTextFile(path原创 2020-11-12 19:14:31 · 2082 阅读 · 0 评论 -
SparkRDD算子(四) Action操作take, collect, count, countByValue, reduce, fold,top,countByKey,collectAsMap
Spark RDD算子(四)基本的Action操作 first, take, collect, count, countByValue, reduce, fold,top1. first,take, collect, count,countByValue, reduce, fold,topscala版本java版本2. countByKey, collectAsMapscala版本java版本1. first,take, collect, count,countByValue, reduce, fold,原创 2020-11-12 18:34:03 · 347 阅读 · 0 评论 -
SparkRDD算子(三)键值对聚合操作(reduceByKey,foldByKey,sortByKey, join)
Spark RDD算子(三)键值对聚合操作reduceByKey,foldByKey,排序操作sortByKey1. reduceByKeydef reduceByKey(func: (V, V) => V): RDD[(K, V)]def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]def reduceByKey(partitioner: Partitioner, func: (V, V) =>原创 2020-11-12 17:06:28 · 350 阅读 · 0 评论 -
SparkRDD算子(二)(键值对聚合操作 combineByKey)
Spark RDD算子 键值对聚合操作 combineByKeycombineByKeyScala版本java版本combineByKey聚合数据一般在集中式数据比较方便,如果涉及到分布式的数据集,该如何去实现呢。这里介绍一下combineByKey, 这个是各种聚集操作的鼻祖,应该要好好了解一下,参考scala API简要介绍def combineByKey[C](createCombiner: (V) => C, mergeValue: (C,原创 2020-11-12 14:46:38 · 244 阅读 · 0 评论 -
SparkRDD算子(一)(java和scala版本)(parallelize map flatMap subtract cartesian mapToPair flatMapToPair)
Spark学习——常用RDD算子汇总1. parallelizejava版本2. makeRDD只有scala版本3. textFilescala版本java版本4. filterscala版本java版本5. mapscala版本java版本6. flatMapscala版本java版本,spark2.0以上7. distinctscala版本java版本8. unionscala版本java版本9. subtractscala版本java版本10. cartesianscala版本java版本11. m原创 2020-11-11 19:58:15 · 497 阅读 · 0 评论 -
Spark RDD概念及常用算子创建过程
Spark RDD概念及常用算子创建过程Spark RDD概念-1简单的解释复杂的解释Spark RDD概念-2RDD是弹性分布式数据集(Resilient Distributed Datasets)分布式数据集弹性容错性RDD与DAG两者是Spark提供的核心抽象DAG(有向无环图)反映了RDD之间的依赖关系RDD的特性RDD编程流程RDD分区分区是RDD被拆分并发送到节点的不同块之一RDD的操作分为lazy与non-lazy两种RDD转换算子对于转换操作,RDD的所有转换都不会直接计算结果RDD的创建-原创 2020-11-04 16:11:40 · 235 阅读 · 0 评论 -
Apache Spark基础及架构(环境部署及Spark API)
为什么使用SparkMapReduce编程模型的局限性繁杂只有Map和Reduce两个操作,复杂的逻辑需要大量的样板代码处理效率低:Map中间结果写磁盘,Reduce写HDFS,多个Map通过HDFS交换数据任务调度与启动开销大不适合迭代处理、交互式处理和流式处理Spark是类Hadoop MapReduce的通用并行框架Job中间输出结果可以保存在内存,不再需要读写HDFS比MapReduce平均快10倍以上Spark简介诞生于加州大学伯克利分校AMP实验室,是一个基于内存的分布式原创 2020-11-04 15:05:57 · 463 阅读 · 2 评论 -
Maven工程实现Spark api—wordcount和打印hdfs文件(非常详细的maven工程创建过程以及不显示日志打印)
创建Maven项目实现Spark api——wordcount功能1、使用idea新建maven工程2、添加依赖包3、创建 scala 程序4、开始写wordcount功能以及打印hdfs上内容的程序1、使用idea新建maven工程GroupId和ArtifactId被统称为“坐标”是为了保证项目唯一性而提出的,如果你要把你项目弄到maven本地仓库去,你想要找到你的项目就必须根据这两个id去查找。GroupId一般分为多个段,这里我只说两段,第一段为域,第二段为公司名称。域又分为org、com、原创 2020-11-03 15:59:55 · 374 阅读 · 0 评论 -
Spark2.4.5、Scala2.11高可用环境搭建(有安装包链接)
Spark2.4.5、Scala2.11完全分布式环境搭建1、下载安装文件2、打开虚拟机、mobax工具连接3、先上传安装文件到一台虚拟机的software文件夹中,后面再将安装好的文件传输(scp)到另外两台虚拟机4、Scala安装5、Spark完全分布式高可用环境搭建6、验证验证 高可用模式是否成功高可用测试(看看是否是假的高可用)1、下载安装文件链接: https://pan.baidu.com/s/1dXuJYrUM1l6tOLSj41SyyQ 提取码: ustf2、打开虚拟机、mobax工原创 2020-10-30 17:23:01 · 883 阅读 · 0 评论