weixin_41512727的博客

1. SparkContext类是Spark的关键类，代码在这里：./core/src/main/scala/org/apache/spark/SparkContext.scala。SparkContext是Spark的入口，负责连接Spark集群，创建RDD，累积量和广播量等。从本质上来说，SparkContext是Spark的对外接口，负责向调用这提供Spark的各种功能。它的作用是一个容器。...

利用python将数据保存到hadoop的hdfs目录下，利用spark读取hdfs目录下内容，然后做sql统计。

文章目录0-背景1-kafka搭建2-总结3-参考文献0-背景最近业务需要搭建一套实时故障诊断系统。数据从传感器来，然后通过http流或者websocket等协议推送，然后生产到kafka，最后使用机器学习模型，进行消费。整个流程是这样子的，里面一些具体的内容，还不不断的摸索和完善。这两天，搭建了一个单机版的kafka，然后利用python的kafka API跑了个简单的例子。下面先说下...

文章目录0-背景1-kafka-python2-流程3-总结0-背景上一篇文章中，我们介绍了如何安装kafka。这篇文章，我们讲下，如何用python操作kafka。1-kafka-python首先，我们在上篇文章的环境中，安装了ananconda（找了其他目录安装即可）。安装的教程可以去网络百度，先下载然后再安装，比较简单。需要安装kafka-python，以便python链接kafk...

文章目录0-背景1-spark安装2-IDEA开发3-参考0-背景最近因为业务需求，开始鼓捣下kafka和spark。因为也是第一次做这方面的内容，而且没玩过java和scala。所以这个word count的例子，鼓捣了近两天才出结果。整个流程如下：首先搭建虚拟机，安装ubuntu。然后在linux中安装spark。最后再本地的IDEA中开发scala，并打包jar包，发送到spark系统...

文章目录1-配置2-流程3-注意4-project1-配置首先，我在虚拟上，搭建了一个单机spark2.4.1(无hadoop)。然后在本地的IDEA中远程运行spark，操作一个svm的小例子。sbt文件：name := "spark_ml_examples"version := "0.1"scalaVersion := "2.11.12"libraryDependencies +...

文章目录转换转换rdd > dataframe:rdd.toDF()spark.createDataFrame()dataframe > rdd:df.rdd

文章目录0 背景1 方法2 测试3 参考0 背景由于工作需要，利用spark完成机器学习。因此需要对spark集群进行操作。所以利用pycharm和pyspark远程连接spark集群。这里记录下遇到的问题及方法。主要是参照下面的文献完成相应的内容，但是具体问题要具体分析。1 方法1.1 软件配置spark2.3.3, hadoop2.6, python31.2 spark配置Sp...