教你使用三种方式写一个最基本的spark程序

当需要处理大规模数据并且需要进行复杂的数据处理时，通常会使用Hadoop生态系统中的Hive和Spark来完成任务。在下面的例子中，我将说明如何使用Spark编写一个程序来处理Hive中的数据，以满足某个特定需求。

假设我们有一个Hive表，其中包含每个人每天的体重记录，我们需要从中计算出每个人的平均体重。为了完成这个任务，我们可以使用Spark来读取Hive表中的数据，并使用Spark进行计算。

下面是具体的开发过程：

一.第一种方式:Spark DataFrame：

1.首先，我们需要在Spark中创建一个SparkSession对象，并使用它来连接到Hive。

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("HiveToSpark").config("spark.sql.warehouse.dir", "/user/hive/warehouse").enableHiveSupport().getOrCreate()

然后，我们可以使用Spark进行数据转换和计算。在这个例子中，我们将按人员分组，并计算每个人的平均体重。

from pyspark.sql.functions import avg

df_avg_weight = df.groupBy("person").agg(avg("weight"))

最后，我们可以将结果写回到Hive表中。

df_avg_weight.write.mode("overwrite").saveAsTable("my_hive_table_average_weight")

完整的代码如下：

from pyspark.sql import SparkSession
from pyspark.sql.functions import avg

spark = SparkSession.builder.appName("HiveToSpark").config("spark.sql.warehouse.dir", "/user/hive/warehouse").enableHiveSupport().getOrCreate()

df = spark.sql("SELECT * FROM my_hive_table")

df_avg_weight = df.groupBy("person").agg(avg("weight"))

df_avg_weight.write.mode("overwrite").saveAsTable("my_hive_table_average_weight")

二:第二种方式.使用sparkRDD

首先，我们使用SparkContext对象创建一个Spark RDD对象hive_rdd，通过执行SQL查询从Hive表中读取数据。接下来，我们将hive_rdd转换为一个(k, v)对的RDD，其中k是person字段，v是一个元组(weight, 1)，表示每个人的体重和体重数量。然后，我们使用reduceByKey()函数将元组聚合为总体重和总体重数量，然后使用map()函数计算每个人的平均体重。最后，我们将结果保存到HDFS中。

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("HiveToRDD")
sc = SparkContext(conf=conf)

hive_rdd = sc.sql("SELECT * FROM my_hive_table").rdd
avg_weight_rdd = hive_rdd.map(lambda x: (x[0], (x[1], 1))) \
    .reduceByKey(lambda x, y: (x[0] + y[0], x[1] + y[1])) \
    .map(lambda x: (x[0], x[1][0] / x[1][1]))

avg_weight_rdd.saveAsTextFile("hdfs://path/to/output")

三:sparksql

直接写入到hive中的表

INSERT OVERWRITE TABLE my_hive_table_average_weight
SELECT person, AVG(weight) as avg_weight 
FROM my_hive_table 
GROUP BY person

如果没有这个表，可以使用以下Spark SQL语法来创建一个新表并将结果写入该表中：

CREATE TABLE my_hive_table_average_weight
AS
SELECT person, AVG(weight) as avg_weight 
FROM my_hive_table 
GROUP BY person

上述SQL查询使用CREATE TABLE AS命令创建一个新的Hive表my_hive_table_average_weight，并将查询结果写入该表中。这个命令将自动创建表的结构和数据类型，因此不需要预先定义表的结构。只需要确保表名和字段名与查询结果一致即可。

但是,这种方法可能会导致性能问题，因为它需要将所有查询结果加载到Spark内存中，然后再将其写入到Hive表中。如果数据量非常大，可能会导致内存不足的问题。因此，如果需要处理大数据集，请考虑使用其他更高效的方式，如Spark RDD或DataFrame API。