- 博客(6)
- 收藏
- 关注
RSS订阅原创 boss直聘spark指标分析程序设计
1.要求能够同时备份8个表格，并且把它分别保存到集群的MySQL和hdfs文件系统。1.显示5列：学历、有公司福利的岗位总数、福利总数、最大福利总数、最小福利总数。10.将上面的Java开发的spark sql程序修改为Scala语言。5.存储到MySQL：专业技术总数表：expertise。把8个MySQL表备份到hdfs文件系统和集群MySQL。2.要求保存到hdfs文件系统上的文件类型为json。2.部署到集群，能够随时统计一次更新后的数据。3.取前10的最大的专业技术总数。
2023-11-21 11:01:54
147
原创 基于Springboot +JPA+thymeleaf+MySQL的共享照相机管理系统
【代码】基于Springboot +JPA+thymeleaf+MySQL的共享照相机管理系统。
2023-07-04 17:15:59
101
原创 hadoop集群HA高可用搭建
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
2023-06-18 22:21:15
1606
1
原创 Hadoop搭建新能源汽车大数据平台
前言为了实现这个平台，我们需要搭建一个Hadoop1集群。同时，下面是集群要求1、集群至少要有三个节点；2、由于条件有限，所以要求集群至少可以存储100G的数据；3、将HDFS副本数设置为3；4、NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；5、可以正常提交MapReduce运行；6、Hbase要集群部署，可正常建表、插入数据和查询数据等；
2023-06-16 22:14:36
558
1
原创 基于pyecharts时间轴组件实现动态柱形图
pyecharts是一个基于 Python 的数据可视化库，它是echarts的 Python 封装。echarts是一个由百度开发的基于 JavaScript 的数据可视化库，它提供了丰富的图表类型和交互功能，可以帮助用户快速地创建交互式的数据可视化图表。同时pyecharts提供了一系列的 Python 接口，可以方便地使用echarts的功能来创建各种类型的图表，包括折线图、柱状图、散点图、地图等。与其他 Python 数据可视化库相比，pyecharts。
2023-06-14 20:02:24
778
1
原创 身处人工智能时代我们何去何从？
在当今时代，我们听到的，提到的或者说是热议的是什么？没错，是ChatGPT！在刚出来那会，我虽然不能真正的使用到，但并不意味着我对它一无所知。它在AI绘画、编程、聊天等领域的影响是非常大的，同样，它的出现也也让一些人或者说是行业面临了巨大的挑战。我个人是大数据专业的，因此哪怕我没有对ChatGPTGPT4new bing深入了解和学习，我仍然能说的头头是道。最基本的，ChatGPT以及衍生产品，永远离不开大数据，也就是说，它是在以大量的数据基础下发展的。
2023-05-17 08:58:29
240
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人