在处理大数据时,会用到spark平台,对于一些对实时性要求不高,但数据量比较大的场景,我们可以考虑将生成数据存入hive表中。那么怎么将数据按时间存入hive表中,怎么将hive表中的数据直接读取出来并做处理呢?废话不多说,直接上代码!
package spark;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import systest.TestCaseResult;
import java.util.List;
public class SparkSqlHiveIO {
public static Dataset<Row> getRowDataSetFromHive(SparkSession sparkSession, String querySqlText){
Dataset<Row> rowDataset = null;
try {
rowDataset = sparkSession.sql(querySqlText);
} catch