Harrytsz的博客

搭建 Spark 和 hdfs 的集群环境会消耗一些时间和精力，处于学习和开发阶段的同学关注的是 Spark应用的开发，他们希望整个环境能快速搭建好，从而尽快投入编码和调试，今天咱们就借助 Docker 容器，极速搭建和体验 Spark 和hdfs 的集群环境.实战环境信息以下是本次实战涉及的版本号：操作系统：腾讯云 Ubuntu 服务器hadoop：2.8Spark：2.3docker：17.03.2-cedocker-compose：1.23.2极速搭建 Spark 集群和 hdfs

import java.sql.{Connection, PreparedStatement}import java.util.Propertiesimport com.alibaba.druid.pool.DruidDataSourceFactoryimport javax.sql.DataSourceobject JDBCUtil { // 初始化连接池 var dataSource: DataSource = init() def init(): DataSource = {

1、读入数据>>> from pyspark.sql import SparkSession>>> spark = SparkSession.builder.master("local").appName("dataframe_split").config("spark.some.config.option", "some-value").getOrCreate()>>> sc = spark.sparkContext>>> d