r语言去掉字符串引号_R语言sparklyr：拆分字符串、分行、分列

嘉丽丽

于 2020-12-27 03:14:32 发布

阅读量2.1k

点赞数

文章标签： r语言去掉字符串引号

本文链接：https://blog.csdn.net/weixin_33286064/article/details/113316513

版权

本文介绍了如何使用R语言的sparklyr包处理字符串，特别是去除字符串引号并根据特定符号拆分字符串。首先，通过split函数结合unnest操作将包含'|"的V18字段拆分为多行。接着，使用内部函数根据'-'符号进一步拆分为两列。整个过程展示了sparklyr在大数据处理中的应用。

摘要由CSDN通过智能技术生成

最近沉迷于学习sparklyr。看标题就知道，今天讲的是如何手撕数据。

这次会用到一个sparklyr扩展包：

Function referencemitre.github.io

首先读取数据：

conf <- spark_config()
conf$spark.executor.memory <- "16GB"
conf$spark.memory.fraction <- 0.9
conf$spark.executor.cores <- 4
conf$spark.dynamicAllocation.enabled <- "false"

sc <- spark_connect(master="spark://127.0.1.1:7077", 
                    version = "2.3.2",
                    config = conf,
                    spark_home = "/home/spark/spark-2.3.2-bin-hadoop2.7/")


test<-spark_read_parquet(sc, 
                         path = '/home/spark_test_file',
                         memory = F)
> test
# Source: spark<?> [?? x 2]
     V17 V18                                                            
   <int> <chr>