开发技术
hadoop
spark
springboot
vue.js
Python爬虫、机器学习、深度学习
mybatis-plus
neo4j知识图谱图数据库
mysql
协同过滤算法(基于物品、基于用户模式)
MLP模型
SVD神经网络
CNN、KNN、GNN卷积神经网络预测算法
阿里云平台
百度AI平台
阿里大于短信平台
lstm模型
代码分析分享
爬虫主要如下技术比较基础简单
def deleteDate():
sql = "DELETE FROM news "
try:
# 执行SQL语句
cursor.execute(sql)
# 提交修改
db.commit()
except:
# 发生错误时回滚
db.rollback()
def saveDate(title,content,time,recourse,url):
try:
cursor.execute("INSERT INTO news(news_title, news_content, type_id, news_creatTime, news_recourse,news_link) VALUES ('%s', '%s', '%s', '%s', '%s' ,'%s')" % \
(title, content, random.randint(1,8), time, recourse,url))
db.commit()
print("执行成功")
except:
db.rollback()
print("执行失败")
数据分析可视化代码如下
package com.bigdata.spark.reducebykey_sort
import org.apache.spark.{SparkConf, SparkContext}
/**
* @program: spark-api-demo
* @description: 类作用描述
* @author: 小毕
* @company: 清华大学深圳研究生院
* @create: 2019-09-02 18:00
*/
object ReduceByKeySortRddDemo {
def main(args: Array[String]): Unit = {
val conf=new SparkConf()
.setAppName("MapFilterApp")
.setMaster("local")
val sc=new SparkContext(conf)
val rdd1=sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2), ("shuke", 1)))
val rdd2=sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))
val rdd3=rdd1.union(rdd2)
//按key进行聚合
val rdd4=rdd3.reduceByKey(_+_)
rdd4.collect.foreach(println(_))
//按value的降序排序
val rdd5=rdd4.map(t=>(t._2,t._1)).sortByKey(false).map(t=>(t._2,t._1))
rdd5.collect.foreach(println)
}
}
创新点
4种机器学习推荐算法进行高考志愿学校推荐
1种深度学习模型进行高考分数线预测
hadoop+spark大屏可视化数据分析
深度学习模拟志愿填报功能
知识图谱关联图
修改密码使用短信验证码
实名认证识别身份证
支付宝沙箱支付功能
lstm情感分析模型分析评论
Python爬虫采集数据全面,涉及5-7张高考业务表,数据量巨大,10-50W+
…10-50种创新点
运行截图
运行视频
计算机毕业设计吊打答辩现场hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计