计算机毕业设计Python+Spark考研预测系统 考研推荐系统 考研数据分析 考研大数据 大数据毕业设计 大数据毕设

池州学院本科毕业论文(设计)指导记录

学生 姓名	韩至立	学号	181613129	指导教师	刘昭忠 张军
题目	基于大数据的考研数据分析和预测系统的建立
1	指导日期： 2022/1/21 指导内容：根据开题答辩老师提出的方法，将数据量适当缩小，减小负担以便顺利完成毕业设计。
2	指导日期：2022/2/11 指导内容：进行系统方面的指导，明确所使用的技术和算法。
3	指导日期：2022/3/16 指导内容：建议添加调剂相关的功能，让系统变得更加充实。
4	指导日期：2022/3/30  指导内容：提出关于调剂功能相关的算法方面的建议，使得能够将调剂相关的功能顺利实现。
5	指导时间：2022/4/6 指导内容：强调论文的格式以及文献相关要求。

指导教师签名：                                             学生签名：

注：1．本表中“指导内容”必须是针对论文（设计）的具体内容，提出个性化的指导意见，避免空话、套话，流于形式；2．指导方式可以是面授、网络、电话、书信等方式

核心算法代码分享如下：

import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;

import org.apache.flink.api.java.io.jdbc.JDBCAppendTableSink;
import org.apache.flink.api.java.io.jdbc.JDBCInputFormat;
import org.apache.flink.api.java.typeutils.RowTypeInfo;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.types.Row;

import java.util.Arrays;

public class FlinkDemo {

    private static String driverClass = "com.mysql.cj.jdbc.Driver";
    private static String dbUrl = "jdbc:mysql://localhost:3396/test?useSSL=false&serverTimezone=UTC&characterEncoding=utf-8&serverTimezone=Asia/Shanghai";
    private static String userName = "root";
    private static String passWord = "123456";

    public static void main(String[] args) {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Student> input = env.fromCollection(Arrays.asList(new Student("Tom", 25), new Student("Jack", 24)));
        DataStream<Row> ds = input.map(new RichMapFunction<Student, Row>() {
            @Override
            public Row map(Student student) throws Exception {
                return Row.of(student.getName(), student.getAge());
            }
        });
        TypeInformation<?>[] fieldTypes = new TypeInformation<?>[]{
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.INT_TYPE_INFO
        };

        RowTypeInfo rowTypeInfo = new RowTypeInfo(fieldTypes);
        //写入mysql（追加模式）
        JDBCAppendTableSink sink = JDBCAppendTableSink.builder()
                .setDrivername(driverClass)
                .setDBUrl(dbUrl)
                .setUsername(userName)
                .setPassword(passWord)
                .setParameterTypes(fieldTypes)
                .setQuery("insert into student values(?,?)")
                .build();

        sink.emitDataStream(ds);

        //查询mysql
        JDBCInputFormat jdbcInputFormat = JDBCInputFormat.buildJDBCInputFormat()
                .setDrivername(driverClass)
                .setDBUrl(dbUrl)
                .setUsername(userName)
                .setPassword(passWord)
                .setQuery("select * from student")
                .setRowTypeInfo(rowTypeInfo)
                .finish();
        DataStreamSource<Row> input1 = env.createInput(jdbcInputFormat);
        input1.print();
        try {
            env.execute();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}