![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark学习
文章平均质量分 63
lc_1123
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 3:转换操作
1.6.2 spark streaming programming guide http://spark.apache.org/docs/1.6.2/streaming-programming-guide.htmlDStreams转换操作 Transformations on DStreams与rdd类似,DStream也有许多转换操作,常用的如下T原创 2017-04-19 16:45:45 · 739 阅读 · 0 评论 -
pyspark学习(一)-- 入门程序word count
1. 学习spark的第一个程序 wordcount先说下本人的开发环境和工具:win10spark 1.6python 2.7pycharm什么是word count?单词计数为什么第一个程序是它,helloword呢?基本上是学习hadoop的mapreduce或spark入门的第一个程序,地位类似于学习写代码时的hello world。言归正传代码原创 2018-01-08 21:25:26 · 9128 阅读 · 1 评论 -
使用Maven编译Spark源码
linux和windows下超详细spark源码编译。包括Maven安装,spark源码编译,导入idea,遇到的问题及解决办法。原创 2017-11-24 23:35:19 · 3481 阅读 · 1 评论 -
Pyspark连接数据库
API 数据库以Mysql为例url = “jdbc:mysql://localhost:3306/test”table = “test”mode = properties = {"user":"fan","password":"111111"} 读 df = sqlContext.read.jdbc(url,table,mode,properties)写 d原创 2017-04-15 17:49:44 · 6279 阅读 · 0 评论 -
Spark性能优化指南——高级篇
转自美团点评技术团队:http://tech.meituan.com/spark-tuning-pro.html 前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。转载 2017-04-21 19:47:02 · 451 阅读 · 0 评论 -
Spark性能优化指南——基础篇
前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。转载 2017-04-21 19:40:54 · 403 阅读 · 0 评论 -
Spark Streaming 2:概述
1. 简介基于Spark的流式处理框架SparkStreaming接收Kafka、Flume、HDFS等各种来源的实时输入数据,进行处理后,处理结果保存在HDFS、Databases等各种地方SparkStreaming接收这些实时输入数据流,会将它们按批次划分,然后交给Spark引擎处理,生成按照批次划分的结果流SparkStreaming提供了表示连续数据流的、高度抽象的被称为离散流的原创 2017-04-15 21:48:32 · 382 阅读 · 0 评论 -
Spark Streaming 1:入门程序windows或linux下监听端口或本地目录的wordcount
Spark Streaming Programming Guide 1.6.2官方指导http://spark.apache.org/docs/1.6.2/streaming-programming-guide.htmlSpark Streaming可以监听本地文件、HDFS、端口、flume、kafka等。 Linux下监听端口9999实现wordcount:原创 2017-04-15 21:03:13 · 1253 阅读 · 0 评论 -
pycharm开发spark导入pyspark包
按照网上教程配置好spark后,import pyspark会报错,但是能运行解决:导入\spark\python\lib\中的pyspark和py4j两个包原创 2017-04-15 17:47:44 · 2269 阅读 · 1 评论 -
pyspark学习(二)--弹性数据集RDD
Spark 围绕RDD的概念(pyspark学习一 中已经讲了rdd的概念)展开,RDD是可并行操作的容错性元素集合。创建RDD有两种方式:并行化驱动程序中的现有集合,或在外部系统中引用数据集。1. 获得RDD创建rdd方式主要有两种处理现有集合 Parallelizing Collections读取外部数据 External Datasets1.1 处理现有集合原创 2018-01-08 21:44:24 · 573 阅读 · 0 评论