大数据
文章平均质量分 93
虹幺
这个作者很懒,什么都没留下…
展开
-
【系统设计与实现】基于flink的分心驾驶预测与数据分析系统
通过flink和随机森林模型实时识别驾驶员用户是否处于警惕状态,并进行进一步数据统计和分析,将分析结果保存在hbase,并通过Websocket向用户提供实时的分析结果。原创 2022-07-28 17:28:26 · 1056 阅读 · 2 评论 -
flink+sklearn——使用jpmml实现flink上的机器学习模型部署
目录前言PMML概念使用JPMML的操作步骤训练模型——jpmml-sklearn相关项目仓库安装Python库生成pmml模型三步曲第一步——创建模型第二步——训练模型第三步——保存模型回归任务演示代码部署模型——jpmml-evaluatormaven依赖读取模型进行预测在Flink中使用总结个人感想其他说明前言flink1.12以后感觉真的香的一批,实时计算个人的使用感觉是比spark 的structured streaming要舒服的多。但是奈何还没有spark完善,尤其是在1.8以后,flin原创 2021-04-03 16:46:34 · 3784 阅读 · 4 评论 -
Spark及相关生态组件安装配置——快速回忆
目录Scala安装配置Spark安装配置环境变量Spark集群配置Spark命令Spark的Hive支持配置添加hive配置文件添加mysql驱动配置文件测试Kafka安装配置环境变量Kafka配置Kafka命令外部支持SparkStreamingFlume安装配置环境变量Flume配置问题处理找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty问题Flume命令外部支持SparkStreamingScala安装配置先安装java安装路径环境变量#原创 2021-03-12 17:37:15 · 205 阅读 · 0 评论 -
Hadoop及相关生态组件安装配置——快速回忆
目录创建hadoop用户添加用户设置密码添加sudo权限安装SSH、配置SSH无密码登陆直接登录无密码登录hadoop安装配置安装hadoop&java配置环境变量配置hadoop&java配置文件(伪分布式)Unable to load native-hadoop问题关闭防火墙Zookeeper安装配置Zookeeper下载安装下载安装配置环境变量Zookeeper配置配置文件(伪分布式)数据目录及日志存放目录Zookeeper命令HBase安装配置HBase下载安装下载安装配置环境变量H原创 2021-03-12 17:29:50 · 283 阅读 · 0 评论