使用Python开发spark

使用Python开发

一、Python编程语言

1.1、Python语言的特点

Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库。如今Python已经成为继JAVA，C++之后的的第三大编程语言。

1、可性移强植 简易单学
2、免开费源 丰富库的
3、可性移强植 高语层言
4、可扩性展

1.2、Python与人工智能

Python被认为是人工智能、机器学习的首选语言。

1.3、PySpark简介

PySpark 是 Spark 为 Python 开发者提供的 API，为了不破坏Spark已有的运行时架构，Spark在外围包装一层Python API，借助Py 4 j实现Python和Java的交互，进而实现通过Python编写Spark应用程序。

二、PySpark启动与日志设置

2.1、PySpark的启动方式

Spark是分为local、standalone、yarn-client、yarn-cluster等运行模式的。local模式用于Spark单机运行，一般用于开发测