3.18毕设日记

caicai_yuan

已于 2022-03-19 21:04:48 修改

阅读量712

点赞数

分类专栏：毕业设计文章标签： spark mongodb

于 2022-03-19 15:30:27 首次发布

本文链接：https://blog.csdn.net/caicai_yuan/article/details/123580676

版权

毕业设计专栏收录该内容

10 篇文章 2 订阅

订阅专栏

今天继续代码的调试对着视频一个一个看，修改相关路径

1.数据的路径需要修改

2.开启mongodb

结果报错了。。。。

我们用bin/mongod --repair 来看一下问题

找了很多解决方法，都没用，终于，找到一个！

bin#./mongod --dbpath=/home/bigdata/cluster/mongodb/data/ --logpath=/home/bigdata/cluster/mongodb/logs --fork

参考这个网站：https://www.jb51.net/article/109091.htm

终于解决了！

总结一下 mongodb的启动

1.切换到root用户执行 ./mongod --dbpath=/home/bigdata/cluster/mongodb/data/ --logpath=/home/bigdata/cluster/mongodb/logs --fork

2.打开防火墙

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

caicai_yuan

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

libsvm 3.18

02-11

"libsvm 3.18" 是一个特定版本的 LibSVM（Library for Support Vector Machines）库，版本号为3.18。LibSVM 是一个广泛使用的开源工具，主要针对支持向量机（Support Vector Machines, SVM）算法进行建模和实现。它...

android goldfih内核 3.18 源码打包下载

09-05

《Android Goldfish内核3.18源码详解与编译指南》 Android Goldfish内核是Android系统中用于模拟器环境的一个关键组件，它基于Linux内核，并针对虚拟化进行了优化，使得开发者可以在宿主机上模拟Android设备的硬件...

参与评论您还未登录，请先登录后发表或查看评论

入职接一个月来谈谈华为OD的感受（拜托入职佬写的，一字未改）

2301_79125431的博客

04-26

449

投的实习，性格测评没做完自动交卷了，实习肯定是寄了[牛泪][牛泪][牛泪]，影响秋招吗？bg本2，春招开始投，上周在决赛圈中选择然后签了一家国企，岗位方向合适，双休但薪资一般，离家远本人实。上周问阿里云流程，说是已经提上去了，在审批中，结果现在还没消息，请问我是被养鱼了吗？我是24届毕业生，考上研了，想利用暑假做份实习，但是我看到大公司面对人群都是25届，24届是一点没有。邮件写的技术岗笔试，用的赛码平台，只有30分钟，还以为是选择加业务题，没想到直接上来就ACM赛制，j。

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署

2301_78234743的博客

06-01

1067

运营面经#面试问题：1. 万达酒店作为行业内的知名品牌，在面对日益激烈的市场竞争和不断变化的消费者。#运营面经#在当前电动车市场竞争如此激烈且多元化的态势下，雅迪如何通过运营手段来突出自身产品的优势和。#我的实习求职记录# #牛客福利打卡# 好焦虑好焦虑啊，八股文背完了忘，算法题刷完过几天还是忘，好多。宿舍的兄弟都陆续去实习了，想到下次周末回宿舍的时候宿舍一个人都没有，突然好伤感 #正在实习的碎碎念#昨天阅文开奖，但没接电话，当时在忙，之后会补吗，还是直接没机会了应该是阅文的，我看和之前阅文hr电话。

3.19毕设日记

caicai_yuan的博客

03-21

657

今天把mongodb的启动问题忠于解决了，下面来解决虚拟机与windows的连接问题。

3.21 毕设日记

caicai_yuan的博客

03-21

3153

周末两天一直在解决Maven库和项目报错上，今天重新连接mongodb 之前一直链接失败，不知道原因是什么，今天终于知道了我真是醉了原来要把这里改成ip地址真的是太笨了接下来连接elasticsearch ...

QGIS3.18编译环境全打包

04-10

QGIS源码编译所需要的所有环境以及源码，还有教程，无脑按照教程来编译肯定可以编过，该资源属于整合，针对没有积分的小伙伴，有几分的可以支持下原博主，地址：...

3.16毕设日记

caicai_yuan的博客

03-16

1696

今天继续我们昨天的安装重新安装azkaban (略) 启动：sudo ./bin/start-solo.sh 关闭：sudo ./bin/shutdown-solo.sh 5.访问http://ip:8081 (默认端口是8081) azkaban默认登录名和密码：azkaban azkaban 参考azkaban solo模式的安装配置 - Hi,ZHF - 博客园 ...

国泰君安富易 v3.18官方版

11-13

国泰君安新富易交易系统是针对国泰君安客户而开发的一款独立的交易软件，新版国泰君安富易交易软件拥有原版富易所有交易功能，并全新设计UI界面，支持界面换肤，可以让投资者

Spark RDD sortBy算子什么情况会触发shuffle

z1941563559的博客

11-16

707

并非单纯的分区内排序。它的目标是按照用户指定的键对整个 RDD 的数据进行排序，这种操作需要保证全局顺序。这些步骤不可避免地引入了 Shuffle，因为数据需要从一个分区转移到另一个分区以保证全局有序性。是一个排序算子，虽然它在某些场景下可能看起来是分区内排序，但实际上在需要全局排序时会触发。这里我们分析其底层逻辑，结合源码和原理来解释为什么会有 Shuffle 的发生。参数，并设置目标分区数。的行为取决于传递的参数。默认不会触发 Shuffle，因此只会在分区内排序。在 Spark 的 RDD 中，

Spark RDD编程

qq_42260493的博客

11-18

649

对于内连接，对于给定的两个输入数据集(K,V1)和(K,V2)，只有在两个数据集中都存在的key才会被输出，最终得到一个(K,(V1,V2))类型的数据集。将每个元素传递到函数func中，并将结果 “拍扁” 返回为一个新的数据集（新RDD的元素个数与原本RDD的元素个数无必然联系）将rdd持久化到磁盘，表示将RDD作为反序列化的对象存储在JVM中，如果内存不足，超出的分区将会被存放在硬盘上。将每个元素传递到函数func中，并将结果返回为一个新的数据集（新RDD的元素个数等于原本RDD的元素个数）

Spark RDD的groupBy算子和groupBykey算子的对比

z1941563559的博客

11-14

784

groupBy可以基于任意的分组逻辑进行分组，适用于更广泛的场景。返回的是，可以应用于任何RDD。性能上较为灵活，适合不同类型的数据。groupByKey只能用于PairRDD（键值对RDD），且只能基于键来分组。在处理大规模数据时，如果每个键的值非常多，可能会导致性能瓶颈。推荐用于键值对已经按键进行分组的情况，不需要额外的分组逻辑。在Spark中，groupBy和groupByKey都是用于分组数据的算子，但它们的行为和适用场景有所不同，特别是在性能上。

Spark_写ORALCE：ORA-01426 numeric overflow 问题解决

Matrix70的博客

11-18

254

数据入到一半，每次都报错ORA-01426 numeric overflow，具体呢，也不告诉你哪个字段报的问题。本人的程序字段很多，领导们就是要看这个除了问题的数据是什么样的，so,尝试了好几次入不进去。字段是number(16),然后改为number（32）,直至最后改到最大值都没用，最后不得不改为CLOB类型也就是text才入进入全部数据。是这样的，20241118，我spark程序写Oracle时候，关联完HBase数据后，在写入ORACLE中，遇到了这个bug，

Spark RDD、DStream、DataFrame、DataSet 在窗口操作上的区别

z1941563559的博客

11-15

573

【代码】Spark RDD、DStream、DataFrame、DataSet 在窗口操作上的区别。

Spark：大数据处理的强大引擎

Yes_water的博客

11-15

790

Apache Spark 是一个专为大规模数据处理而设计的快速、通用、可扩展的大数据分析计算引擎。它诞生于 2009 年，由美国加州伯克利大学的 AMP 实验室开发，2013 年被纳入 Apache 开源项目，并迅速成为顶级项目。Spark 被认为是 Hadoop 框架的升级版，主要原因在于其功能强大且独特。首先，它在性能方面表现优异。内存计算下，Spark 比 Hadoop 快 100 倍，在磁盘上也比 Hadoop 快 10 倍。

性能超越Spark 13.3 倍,比某MPP整体快数十秒 | 多项性能指标数倍于主流开源引擎 | 云器科技发布性能测试报告

最新发布

锋哥聊DORIS数仓

11-18

207

🏅增量计算：云器Lakehouse支持秒级、分钟级、小时级的数据新鲜度调节。相较于Flink常驻任务，云器Lakehouse可通过调整时效性平衡资源成本，在近实时场景下可节省10倍~1000倍的成本。🏅实时分析：在基于宽表的实时分析场景下，云器Lakehouse相较Clickhouse表现出1.48倍性能提升。🏅离线批处理：在复杂批处理任务中，云器Lakehouse相较Spark表现出13.31倍性能提升。🏅即席查询：在交互式分析场景下，云器Lakehouse相较Trino表现出9.84倍性能提升。

Spark RDD 的 compute 方法

z1941563559的博客

11-15

1220

computecompute是一个抽象方法，由具体的 RDD 子类（如HadoopRDD等）实现。：表示 RDD 的一个逻辑分区。：提供了当前任务的上下文信息，如任务 ID、分区 ID 等。：返回一个懒加载的迭代器，用于访问分区内的数据。computecompute是 RDD 中的关键方法，定义了如何读取和处理分区数据。惰性求值与迭代器：通过返回迭代器，compute实现了流式处理和内存优化。扩展性：不同类型的 RDD 通过重写compute，实现适合自己场景的数据读取和计算逻辑。

Spark 读取 HDFS 文件时 RDD 分区数的确定原理与源码分析

z1941563559的博客

11-14

691

Spark 通过goalSize和blockSize来平衡分区数量与块大小。分区数会随着文件大小、块大小、期望分区数等参数变化。分区数设定不合理会影响性能，例如分区数过多会导致任务调度开销增加，分区数过少则可能导致计算资源未充分利用。

Spark读MySQL数据rdd分区数受什么影响，读parquet、hdfs、hive、Doris、Kafka呢？

z1941563559的博客

11-14

1228

数据源影响因素配置参数MySQL、查询条件lowerBoundupperBoundParquet文件大小、文件数量、HDFSHDFS文件块大小、文件数量、Hive分区表、Doris查询条件、分区策略、KafkaKafka分区数、因此，读取数据源时的RDD分区数会受到数据源自身的存储方式、配置参数以及查询条件的影响。合理的分区数可以提高Spark任务的并行度，优化性能。

spark.default.parallelism 在什么时候起作用，与spark.sql.shuffle.partitions有什么异同点？

z1941563559的博客

11-14

797

异同主要影响 RDD 的初始并行度，而则专门控制 Spark SQL 中的 Shuffle 分区数。前者在非 SQL 的 RDD 操作中起作用，后者则仅对 SQL 或 DataFrame API 中的 Shuffle 操作生效。配置建议如果以 RDD 为主，则可以根据集群大小和任务负载调整。如果以 SQL 和 DataFrame 操作为主，特别是需要进行大量 Shuffle 的场景，可以适当调整来优化性能（如减少分区数以降低小任务开销，或增加分区数以加快数据处理速度）。