python使用spark_在python中使用pyspark读写Hive数据操作

1、读Hive表数据

pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：

from pyspark.sql import HiveContext,SparkSession

_SPARK_HOST = "spark://spark-master:7077"

_APP_NAME = "test"

spark_session = SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()

hive_context= HiveContext(spark_session )

# 生成查询的SQL语句，这个跟hive的查询语句一样，所以也可以加where等条件语句

hive_database = "database1"

hive_table = "test"

hive_read = "select * from {}.{}".format(hive_database, hive_table)

# 通过SQL语句在hive中查询的数据直接是dataframe的形式

read_df = hive_context.sql(hive_read)

2 、将数据写入hive表

pyspark写hive表有两种方式：

（1）通过SQL语句生成表

from pyspark.sql import SparkSession, HiveContext

_SPARK_H