![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 53
qq_25127933
这个作者很懒,什么都没留下…
展开
-
java - 如何使用Java在Spark中从列表或数组创建行
在Java中,我使用RowFactory.create()创建一个Row:Row row = RowFactory.create(record.getLong(1), record.getInt(2), record.getString(3));其中“记录”是数据库中的记录,但是我无法提前知道“记录”的长度,因此我想使用列表或数组来创建“行”。在Scala中,我可以使用Row.fromSeq()从列表或数组创建行,但是如何在Java中实现呢?// initialize first SQLCo转载 2021-10-04 11:47:14 · 1005 阅读 · 0 评论 -
Flink集群安装和部署之Standalone模式
安装部署Standalone模式1 修改配置文件1.1 修改flink-conf.yaml// 修改JobManager的主机名jobmanager.rpc.address: hadoop1021.2 防止web端口冲突 (由于与spark的端口号8081冲突,修改为8082)# 防止web端口冲突jobmanager.web.port: 8082# 也可以通过masters修改hadoop102:8082网页总是打不开,加了第二句不管用所以加了第一句,奇怪。。。。原创 2021-09-28 13:22:02 · 204 阅读 · 0 评论 -
解决Failed to load class “org.slf4j.impl.StaticLoggerBinder“
今日运行程序,日志报错在运行时,没有做日志的实现(或者说日志的绑定),所以我们需要在maven加一下依赖:<dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-nop</artifactId> <version>1.7.2</version></dependency>并在resources目录下增加log原创 2021-09-28 09:00:26 · 407 阅读 · 0 评论 -
Hive SQL学习笔记
语法顺序1. 写的顺序 https://blog.csdn.net/dufufd/article/details/103797568select ... from … join … on ... where ... group by ... having... order by … limit … offset2. 执行顺序1) 先运行子查询2) 每个查询语句里运行顺序from > join > on > where > group by(开始使用select原创 2021-09-28 04:23:13 · 497 阅读 · 0 评论 -
尚硅谷大数据Spark之RDD转换算子学习笔记及面试题
1. Spark 算子从功能上可以分为以下两类:1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真正触发运算。RDD转换算子根据数据处理方式的不同将算子整体上分为Value类型、双Value类型和Key-Value类型2)Action 行动算子:这类算子会触发 SparkContext 提交原创 2021-09-28 03:57:24 · 702 阅读 · 0 评论