![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 55
mmmmPccPcc
学习技术
展开
-
spark DF写入csv/text
Spark的DataFrame调用write方法写入数据时有以下几点注意DF写入CSV,要求每一列的类型为String DF写入TEXT,要求DF只有一列,且类型为String修改DataFrame列类型的方法可以参考1 直接按列名修改scala> a.select(a.col("id"),a.col("username"),a.col("birthday").cast("string").as("bir")).show2 遍历DF的所有列依次修改,适用于修改成统一的类型原创 2021-05-11 21:56:08 · 1600 阅读 · 0 评论 -
Spark往Redis里写入数据
以下是Redis连接池的代码:/** * Redis连接池 */object RedisClient extends Serializable { val redisHost = "192.168.115.142" val redisPort = 6379 val redisTimeout = 30000 lazy val pool = new JedisPool(new JedisPoolConfig, redisHost, redisPort, redisTimeout)原创 2021-03-16 17:00:15 · 1711 阅读 · 0 评论 -
Spark基础知识
1 Apache Spark 是什么?Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库。下面展示了Spark给用户提供的组件:2 Spark的设计哲学统一平台Spark主要目标是为编写大数据应用程序提供统一的平台,例如,JavaEE的Spring框架。Spark的统一API使得编写大数据应用变得简单且高效。计算引擎Spark对比Hadoop这样即解决分布式存储(HDFS)又提供了计算范式(MapReduce)的大数据平台,它主要专注于计算引擎。Spark从原创 2021-03-03 13:47:42 · 773 阅读 · 0 评论