sparksql hive mysql_SparkSql实现Mysql到hive的数据流动

今天去面试了一波，因为调度系统采用了SparkSql实现数据从Mysql到hive，在这一点上面试官很明显很不满我对于Spark的理解，19年的第一个面试就这么挂了。

有问题不怕，怕的是知道了问题还得过且过。现在就来梳理下我的项目是怎么使用Spark导数的

第一步：把mysql中的表放入内存

properties.put("user", dbUser);

properties.put("password", dbPassword);

properties.put("driver", dbDriver);

Dataset bizdateDS = sparkSession.read().jdbc(

dbUrl,

dbTableName,

properties

);

其中：org.apache.spark.sql.Dataset(这里面试官问我怎么把mysql的数据转化到Spark，我没答上来)

第二步：创建数据库与表

2.1 创建库

String createDBSQL = "CREATE DATABASE IF NOT EXISTS " + hiveDBName + " LOCATION '" + dbPath + "'";

sparkSession.sql(createDBSQL);

```

2.2创建表

分成两步，第一步读取Mysql元数据字段，第二步把这些字段创建出来

2.2.1 读取mysql字段

StructType structType = bizdateDS.schema();

StructField[] structFields = structType.fields();

/*

structField是StructType中的字段。

param：name此字段的名称。

param：dataType此字段的数据类型。

param：nullable指示此字段的值是否为空值。

param：metadata此字段的元数据。 如果未修改列的内容(例如，在选择中)，则应在转换期间保留元数据。

*/

2.2.2 创建字段

String sourceType; //Name of the type used in JSON serialization.

String columnName;

String targetType;

StructField structField;

SparkDataTypeEnum sparkDataType;

StringBuilder createBuilder = new StringBuilder(capacity);

createBuilder.append("CREATE TABLE IF NOT EXISTS ").append(realHiveTableName).append(" (");

List dbTableColumns = Lists.newArrayList();

Map dbTableColumnTypeMap = Maps.newHashMap();

//把Mysql中的每个字段都提取出来

for (int i = 0, len = structFields.length; i < len; i++) {

structField = structFields[i];

sourceType = structField.dataType().typeName();

columnName = structField.name();

if (sourceType.contains("(")) { //处理类似varchar(20)

sourceType = sourceType.substring(0, sourceType.indexOf("("));

}

sparkDataType = SparkDataTypeEnum.getItemByType(sourceType);

if (null != sparkDataType) {

targetType = sparkDataType.getHiveDataType().getType();

//时间戳字段强转成string字段

if(targetType.equals("timestamps")) targetType.equals("string");

} else {

targetType = HiveDataTypeEnum.STRING.getType();

}

dbTableColumns.add(columnName);

dbTableColumnTypeMap.put(columnName, targetType);

if (i != 0) {

createBuilder.append(",");

}

createBuilder.append(columnName).append(" ").append(targetType);

}

createBuilder.append(") PARTITIONED by (").append(partitionColumn)

.append(" STRING) ");

sparkSession.sql(createTableSQL);

2.3 对比字段

我们在2.2中，如果hive有字段了，那么就不会创建表。

问题在于，如果hive中的字段比mysql中的少怎么办？

2.3.1 获取hive中的表字段

HiveUtil connectionToHive = new HiveUtil("org.apache.hive.jdbc.HiveDriver", hiveUrl, hiveUser, hivePassword);

public List getTableColumns(String dbName,String tableName) throws SQLException {

ResultSet rs = null;

try {

if (!this.validateTableExist(tableName)) {

return null;

}

DatabaseMetaData metaData = connection.getMetaData();

rs = metaData.getColumns(null, dbName, tableName.toUpperCase(), "%");

List columns = new ArrayList();

while (rs.next()) {

columns.add(rs.getString("COLUMN_NAME").toLowerCase());

}

return columns;

} catch (SQLException e) {

throw e;

} finally {

if (null != rs) {

rs.close();

}

}

}

2.3.2 对比字段并且添加：

for (String dbTableColumn : dbTableColumns) {

if (StringUtil.hasCapital(dbTableColumn)) {

DingDingAlert.sendMsg(dbTableName + "的" + dbTableColumn + "是大写字段，替换成小写");

logger.warn(dbTableName + "的" + dbTableColumn + "是大写的，把他替换成小写");

sb.append("\n " + GetTime.getTimeStamp("yyyy-MM-dd HH:mm:ss") + "| WARN |" + "表" + hiveTableName + "在hive中不存在，程序关闭");

dbTableColumn = StringUtil.convertStringToLowerCase(dbTableColumn, false);

}

if (!hiveTableColumns.contains(dbTableColumn)) {

alterColumns.add(dbTableColumn);

}

}

2.4 将内存中的表存入hive

bizdateDS.createOrReplaceTempView(tmpTableName); //注意这里不是直接从mysql抽到hive，而是先从Mysql抽到内存中

insert hive_table select hive中的已经有的表的字段 from tmpTableName

##很明显的，如果不是需要和hive已经有的表交互根本用不到jdbc