3、异常数据处理
在异常数据处理阶段,我们将处理可能存在的异常情况,确保数据的完整性和准确性:
# 使用正则表达式提取数字部分
data_final = data_final.withColumn("damage\_grade\_y\_numeric", regexp_extract(data_final["damage\_grade\_y"], r'\d+', 0))
# 将列转换为 numeric 类型
data_final = data_final.withColumn("damage\_grade\_y\_numeric", data_final["damage\_grade\_y\_numeric"].cast("int"))
# 显示转换后的结果
data_final.select("damage\_grade\_y", "damage\_grade\_y\_numeric").show()
4、标题模型训练和评估
在模型训练和评估阶段,我们将使用随机森林分类器进行模型训练,并评估模型在测试集上的表现:
# 划分数据集为训练集和测试集
(train_data, test_data) = data_final.randomSplit([0.8, 0.2], seed=1234)
# 初始化随机森林分类器
rf = RandomForestClassifier(labelCol="damage\_grade\_y\_numeric", featuresCol="features", numTrees=10)
# 训练模型
model = rf.fit(train_data)
# 在测试集上进行预测
predictions = model.transform(test_data)
# 模型评估
evaluator = MulticlassClassificationEvaluator(labelCol="damage\_grade\_y\_numeric", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Test Accuracy = {:.2f}%".format(accuracy \* 100))
标题5、可视化大屏实现与展示
为了更直观地展示预测结果,我们设计了一个可视化大屏。该大屏将包括地图展示、受灾情况分布图以及预测结果展示等内容,以帮助用户更好地理解地震造成的破坏程度。
<html><head>
<meta charset="utf-8">
<title>www.husonghe.com</title>
<style>
html {
height: 100%;
background-image: -webkit-radial-gradient(ellipse farthest-corner at center center, #1b44e4 0%, #020f3a 100%);
background-image: radial-gradient(ellipse farthest-corner at center center, #1b44e4 0%, #020f3a 100%);
cursor: move;
}
body {
width: 100%;
margin: 0;
overflow: hidden;
}
</style>
</head>
<body>
<canvas id="canv" width="1920" height="572"></canvas>
<script>
var num = 200;
var w = window.innerWidth;
var h = window.innerHeight;
var max = 100;
var \_x = 0;
var \_y = 0;
var \_z = 150;
var dtr = function(d) {
return d \* Math.PI / 180;
};
var rnd = function() {
return Math.sin(Math.floor(Math.random() \* 360) \* Math.PI / 180);
};
var dist = function(p1, p2, p3) {
return Math.sqrt(Math.pow(p2.x - p1.x, 2) + Math.pow(p2.y - p1.y, 2) + Math.pow(p2.z - p1.z, 2));
};
var cam = {
obj: {
x: \_x,
y: \_y,
z: \_z
},
dest: {
x: 0,
y: 0,
z: 1
},
dist: {
x: 0,
y: 0,
z: 200
},
ang: {
cplane: 0,
splane: 0,
ctheta: 0,
stheta: 0
},
zoom: 1,
disp: {
x: w / 2,
y: h / 2,
z: 0
},
upd: function() {
cam.dist.x = cam.dest.x - cam.obj.x;
cam.dist.y = cam.dest.y - cam.obj.y;
cam.dist.z = cam.dest.z - cam.obj.z;
cam.ang.cplane = -cam.dist.z / Math.sqrt(cam.dist.x \* cam.dist.x + cam.dist.z \* cam.dist.z);
cam.ang.splane = cam.dist.x / Math.sqrt(cam.dist.x \* cam.dist.x + cam.dist.z \* cam.dist.z);
cam.ang.ctheta = Math.sqrt(cam.dist.x \* cam.dist.x + cam.dist.z \* cam.dist.z) / Math.sqrt(cam.dist.x \* cam.dist.x + cam.dist.y \* cam.dist.y + cam.dist.z \* cam.dist.z);
cam.ang.stheta = -cam.dist.y / Math.sqrt(cam.dist.x \* cam.dist.x + cam.dist.y \* cam.dist.y + cam.dist.z \* cam.dist.z);
}
};
var trans = {
parts: {
sz: function(p, sz) {
return {
x: p.x \* sz.x,
y: p.y \* sz.y,
z: p.z \* sz.z
};
},
rot: {
x: function(p, rot) {
return {
x: p.x,
y: p.y \* Math.cos(dtr(rot.x)) - p.z \* Math.sin(dtr(rot.x)),
z: p.y \* Math.sin(dtr(rot.x)) + p.z \* Math.cos(dtr(rot.x))
};
},
y: function(p, rot) {
return {
x: p.x \* Math.cos(dtr(rot.y)) + p.z \* Math.sin(dtr(rot.y)),
y: p.y,
z: -p.x \* Math.sin(dtr(rot.y)) + p.z \* Math.cos(dtr(rot.y))
};
},
z: function(p, rot) {
return {
x: p.x \* Math.cos(dtr(rot.z)) - p.y \* Math.sin(dtr(rot.z)),
y: p.x \* Math.sin(dtr(rot.z)) + p.y \* Math.cos(dtr(rot.z)),
z: p.z
};
}
},
pos: function(p, pos) {
return {
x: p.x + pos.x,
y: p.y + pos.y,
z: p.z + pos.z
};
}
},
pov: {
plane: function(p) {
return {
x: p.x \* cam.ang.cplane + p.z \* cam.ang.splane,
y: p.y,
z: p.x \* -cam.ang.splane + p.z \* cam.ang.cplane
};
},
theta: function(p) {
return {
x: p.x,
y: p.y \* cam.ang.ctheta - p.z \* cam.ang.stheta,
z: p.y \* cam.ang.stheta + p.z \* cam.ang.ctheta
};
},
set: function(p) {
return {
x: p.x - cam.obj.x,
y: p.y - cam.obj.y,
z: p.z - cam.obj.z
};
}
},
persp: function(p) {
return {
x: p.x \* cam.dist.z / p.z \* cam.zoom,
y: p.y \* cam.dist.z / p.z \* cam.zoom,
z: p.z \* cam.zoom,
p: cam.dist.z / p.z
};
},
disp: function(p, disp) {
return {
x: p.x + disp.x,
y: -p.y + disp.y,
z: p.z + disp.z,
p: p.p
};
},
steps: function(\_obj\_, sz, rot, pos, disp) {
var \_args = trans.parts.sz(\_obj\_, sz);
\_args = trans.parts.rot.x(\_args, rot);
\_args = trans.parts.rot.y(\_args, rot);
\_args = trans.parts.rot.z(\_args, rot);
\_args = trans.parts.pos(\_args, pos);
\_args = trans.pov.plane(\_args);
\_args = trans.pov.theta(\_args);
\_args = trans.pov.set(\_args);
\_args = trans.persp(\_args);
\_args = trans.disp(\_args, disp);
return \_args;
}
};
(function() {
"use strict";
var threeD = function(param) {
this.transIn = {};
this.transOut = {};
this.transIn.vtx = (param.vtx);
this.transIn.sz = (param.sz);
this.transIn.rot = (param.rot);
this.transIn.pos = (param.pos);
};
threeD.prototype.vupd = function() {
this.transOut = trans.steps(
this.transIn.vtx,
this.transIn.sz,
this.transIn.rot,
this.transIn.pos,
cam.disp
);
};
var Build = function() {
this.vel = 0.04;
this.lim = 360;
this.diff = 200;
this.initPos = 100;
this.toX = \_x;
this.toY = \_y;
this.go();
};
Build.prototype.go = function() {
this.canvas = document.getElementById("canv");
this.canvas.width = window.innerWidth;
this.canvas.height = window.innerHeight;
this.$ = canv.getContext("2d");
this.$.globalCompositeOperation = 'source-over';
this.varr = [];
this.dist = [];
this.calc = [];
for (var i = 0, len = num; i < len; i++) {
this.add();
}
this.rotObj = {
x: 0,
y: 0,
z: 0
};
this.objSz = {
x: w / 5,
y: h / 5,
z: w / 5
};
};
Build.prototype.add = function() {
**自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。**
**深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
**因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/881394d36ce1433ef9f80e47846adf8b.png)
![img](https://img-blog.csdnimg.cn/img_convert/ec539bfe8d813f28d91e18075000a42b.png)
![img](https://img-blog.csdnimg.cn/img_convert/c1fb8bbf10318d341f61963fad91ad5c.png)
![img](https://img-blog.csdnimg.cn/img_convert/fc630e6bdba26a39c5044aac2c0b2b71.png)
![img](https://img-blog.csdnimg.cn/img_convert/34cff3b85600ac9455f34c1acba1445d.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
![img](https://img-blog.csdnimg.cn/img_convert/fedab736d806161d178dff64df4485e3.png)
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
[外链图片转存中...(img-KA4hdEPU-1713018131271)]
**一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**