spark
文章平均质量分 59
如果你是自学spark那么就请收藏它吧,我会定期更新学习过程中的细节,并不断优化spark相关大数据的内容,数据分析已经成为存量市场中必会的技能,学习使我快乐,跟博主一起进步,加油
yyyyjinying
专业是经管类,自学编程,跨行,跨领域,没有什么学不会的。
展开
-
spark结构化流处理引擎
是Apache Spark提供的一种流数据处理引擎,它允许以类似于批处理的方式处理连续不断到达的数据流。相比于传统的流处理框架,结构化流提供了更高级和更易用的编程模型,可以轻松地将批处理和流处理结合起来,实现实时的数据处理和分析。结构化流基于Spark SQL引擎,使用DataFrame和DataSet作为数据抽象,支持SQL查询、流式数据转换和输出操作,提供了丰富的内置函数和操作符来处理数据。原创 2023-07-28 11:23:03 · 537 阅读 · 0 评论 -
spark基础
spark基础原创 2023-07-26 08:52:13 · 90 阅读 · 0 评论 -
spark的jdbc连接数据库
必须配置的两点:1.配置驱动包和依赖jar包2.如果没有配置可能会提示驱动不匹配。原创 2023-07-25 10:26:44 · 748 阅读 · 0 评论 -
pyspark的单例指定行计算
【代码】pyspark的单例指定行计算。原创 2023-07-13 19:01:27 · 48 阅读 · 0 评论 -
spark调试中常见的错误集锦
spark在学的过程中出现各种异常,在此对异常做一个归纳,希望能够帮助到大家,后续有问题还会不断的更新该文档原创 2023-06-30 10:05:15 · 344 阅读 · 0 评论 -
hive的使用
netstat -nltupclearctrl + L重启reboot断电关机shutdown -h now非断电关机haltshutdown -r nowtcpudpHDFSnamenode/ datanode/ secondary namenodemapreduceyarnresourceManage nodeManager设置网段设置网关su - roothostnamehostname node1rm -f /etc/udev/rules.d/70-persistent-n原创 2023-05-06 09:10:11 · 412 阅读 · 0 评论 -
spark安装
su - rootyesenterexit()exit()重新登录su - root。原创 2023-05-25 22:54:42 · 1075 阅读 · 0 评论 -
java spark udf练习
【代码】java spark udf练习。原创 2023-06-21 11:28:28 · 86 阅读 · 0 评论 -
spring-boot配置spark
【代码】spring-boot配置spark。原创 2023-06-08 16:35:06 · 505 阅读 · 0 评论 -
spring-boot开发saprk大数据
【代码】java saprk语法。原创 2023-06-21 11:23:09 · 136 阅读 · 0 评论