- 博客(12)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 大数据建模思路
在构建大数据模型的过程中，首先需要进行数据采集，这是收集大量数据的基础步骤，包括从各种来源获取信息，如数据库、网络日志或传感器数据。然后，对收集的数据进行清洗和预处理，去除无效或错误的数据，确保数据的质量。在这个过程中，可能需要进行特征工程，例如创建新的特征或转换现有的特征，以更好地反映数据的真实情况。模型选择是关键步骤之一，根据数据集的特点，选择合适的模型类型，比如线性回归、决策树或神经网络等。每种模型都有其适用场景和局限性，因此，需要综合考虑数据的性质以及建模目标，做出最合适的选择。
2024-11-26 11:32:37
368
原创 大数据模型建模构建思路
特征提取需要从海量、多维的数据资源中提取能够描述分析对象的信息，通常将这些特征组织成向量或矩阵形式。数据清洗旨在去除数据中的噪声和不一致性，确保数据的准确性。训练阶段是根据已知的结果进行学习，建立模型的过程。模型的选择和调优需要根据具体问题来决定，以保证模型的准确性和泛化能力。：模型训练完成后，需要进行评估，确保模型的准确性和可靠性。：在大模型应用中，选择一款合适的基座模型非常关键。是一个优秀的开源基座模型，它在不同数据集上测评中表现优异，并且支持多轮对话、工具调用等复杂场景。
2024-11-21 16:22:33
750
原创 elasticsearch和mongodb命令对比
更新文档：db.my_collection.updateOne({_id: ObjectId("1")}, {$set: {name: "Jane"}})删除文档：db.my_collection.deleteOne({_id: ObjectId("1")})获取文档：db.my_collection.findOne({_id: ObjectId("1")})搜索文档：db.my_collection.find({name: "John"})删除文档：DELETE /my_index/_doc/1。
2024-06-20 10:57:46
462
原创 mysql 存储过程 多个BEGIN
如果你的意图是在逻辑上将存储过程的不同部分划分为多个事务，你应该重新考虑你的逻辑是否真的需要这样做。通常，一个事务应该包含完成一个完整工作单元所需的所有操作。语句，它们实际上会创建多个事务边界，这可能会导致一些意想不到的副作用，例如数据一致性问题或性能问题。通常情况下，你只需要一个。如果你的确需要在存储过程中使用多个事务，你应该确保每个事务都有对应的。在MySQL中，如果你在一个存储过程中使用了多个。语句来开始一个事务。
2024-05-17 15:09:34
413
原创 一个简单的hadoop mr例子
一、建立Maven工程pom.xml文件的 dependencies内加入 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>.
2022-04-19 17:06:05
338
原创 一个简单的微服务拓扑图
由于项目突发，时间急迫，初步构建了一个基于微服务的平台架构，涉及到了springcloud和alibaba的一些技术框架，因为新启盘，先弄个简单点的吧。就一个visio，图画的实在是有点糙啊，好在意思表达清楚了！！项目结构（一）拓扑图（二）服务器清单（三）好久没有搭建架构了，算是小试牛刀一把。...
2022-01-11 09:37:27
4404
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人