spark
qq_16563637
这个作者很懒,什么都没留下…
展开
-
spark的docker安装(单节点适合开发环境)
安装环境 centos7.2 sequenceiq/hadoop:2.6.0(这个安装请参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81702633) 本人亲自测试能够正常使用 下载sparkdocker pull sequenceiq/sparkdocker运行docker run -it -p...原创 2018-08-15 16:11:15 · 1789 阅读 · 0 评论 -
spark+kafka的使用(单词计数)
kafka的安装参考我的这边博客(https://blog.csdn.net/qq_16563637/article/details/82776276)1.安装zk集群2.config/server.properties添加zk地址:zookeeper.connect=node-1:2181,node-2:2181,node-3:2181修改broker.id(唯一的):broker.id...原创 2018-09-27 21:21:34 · 381 阅读 · 0 评论 -
spark远程调试debug及编译spark源码
先将下面代码打包第一种方式先backage然后打断点,然后Debug执行main方法在idea中添加参数①点击Run下的Edit Configurations②配置Configuration页中的Program arguments选项,就可以在idea中传入参数,参数之间用空格隔开执行代码如下:package cn.itcast.spark.day1import org.apac...原创 2018-09-22 16:32:55 · 912 阅读 · 0 评论 -
spark的rdd分析
以一个简单的wc(单词计数)程序为例val rdd = sc.textFile("file:///root/wc").flatMap(_.split(" ")).map(_,1).reduceByKey(_,_).saveAsTextFile("file:///root/wc00")上面单词计数总共产生6个rdd可以执行下面语句查询rdd数量查原创 2018-09-22 15:35:46 · 370 阅读 · 0 评论 -
sparkStreaming+flume实现内存计算(小数据量情况下)
架构分析sparkStreaming一般结合kafka使用,但是如果你的数据量比较小,就可以不用搭建kafka集群,那么flume提供了两种提供数据给sparkStreaming的方式一种是push,一种是Pull,Pull是sparkStreaming向flume拉取数据效果更好一些.因为push只能提供数据给一个spark,而Pull可以从多个flume进行拉取1安装flume到服务器上传...原创 2018-09-27 17:34:56 · 251 阅读 · 0 评论 -
spark的RDD高级算子
http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.htmlmap是对每个元素操作, mapPartitions是对其中的每个partition操作mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码val func = (index: Int, iter...原创 2018-09-20 17:23:00 · 443 阅读 · 0 评论 -
spark的rdd算子
算子分类:具体:1、Value数据类型的Transformation算子,这种变换并不触发提交作业,针对处理的数据项是Value型的数据。2、Key-Value数据类型的Transfromation算子,这种变换并不触发提交作业,针对处理的数据项是Key-Value型的数据对。3、Action算子,这类算子会触发SparkContext提交Job作业。RDD有两种操作算子:1、Tran...原创 2018-09-20 16:57:30 · 230 阅读 · 0 评论 -
spark结合hive的使用
spark对于hive的版本是有要求的spark1.6.1对应hive版本是1.2.1spark1.6.0对应hive版本是1.2.1我这里安装的版本是:spark1.6.0,hadoop2.6.0,hive 1.2.1,mysql5.6.35先安装mysql(参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81774...原创 2018-09-25 15:44:50 · 986 阅读 · 0 评论 -
sparkSql的使用
sparksql能与hive兼容并且可以读取多种数据源如sql1新建一个文件并保存1,zhangsan,182,lisi,193,wangwu,204,zhaoliu,212提交文件到hdfshdfs dfs -put person.txt /3使用map切分val rdd = sc.textFile("hdfs://node-1.itcast.cn:9000/person....原创 2018-09-23 17:58:19 · 216 阅读 · 0 评论 -
spark任务提交流程与管依赖和窄依赖
spark内核执行流程图代表4个阶段1构建RDD,进行join,groupBy,filter操作,形成DAG有向无环图(有方向,没有闭环),在最后一个action时完成DAG图,代表着数据流向2提交DAG为DAGScheduler,DAG调度器,主要是将DAG划分成一个个stage,并且提交stage切分的依据是宽依赖,也就是有网络的传递3TaskScheduler,Task调度器,...原创 2018-09-23 17:06:43 · 289 阅读 · 0 评论 -
spark1.6+hadoop2.6+kafka2.10-0.8.2.1+zookeeper3.3.6安装及sparkStreaming代码编写和调试
安装环境安装之前确保设备至少有4GB内存,推荐8GBcentos7.2docker(这个安装请参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81699251)目标安装软件目标安装版本实际安装版本hadoop2.62.6spark1.61.6kafka2.10-0.8.2.1...原创 2018-09-29 22:04:52 · 613 阅读 · 0 评论