Spark 按两种 符号 分割字符串

最新推荐文章于 2023-04-28 19:18:33 发布
最新推荐文章于 2023-04-28 19:18:33 发布
阅读量4.4k 收藏
点赞数
分类专栏： Spark原理、实战、总结 文章标签： split
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukabruce/article/details/103603632
版权
本文详细介绍了如何在 Spark 中使用不同的分隔符进行字符串分割操作，包括常见符号和自定义分隔符的使用方法，帮助理解 Spark 处理字符串的灵活性。
摘要由CSDN通过智能技术生成 
# 元数据

String  str= "//@颜渊-公子蝶:恭喜！！//@水城十二呆包子: 芳心纵火犯后继有人！//@安娜_专业土拨鼠:恭喜恭喜！！百万龙虾店少主登场！！//@絶対白2咩黙示録:撒金刚出生了！//@stoness打着哈欠说 :恭喜撒老师！盛世美颜后继有人！//@不能发芽的种子 :恭喜！！ //@卡李 :起什么名字？//@麦吉da法好太师囧 : 恭喜撒老"

# 要求 按照 ‘//@ ’ 及 ‘：’ 这两个字符进行切割 
//去掉两端引号
String string1 = str.substring(1,  string.length() - 1);

//根据分号和逗号进行切割
String[] str = string.split ("//@|:");
#结果数据

恭喜！！
芳心纵火犯后继有人！
恭喜恭喜！！百万龙虾店少主登场！！
撒金刚出生了！
恭喜撒老师！盛世美颜后继有人！
恭喜！！ 
起什么名字？
恭喜撒老

 

卢子墨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
SparkSQL-内置函数
dafsq的博客
03-18 1543
SparkSQL-内置函数
spark中split()根据特殊符号“.“ “|“ “*“ “\“ “]“切割的表达
weixin_45441740的博客
11-05 2075
关于点的问题是用string.split("[.]") 解决。 关于竖线的问题用 string.split("\\|") 关于竖线的问题用 string.split("\\|")解决。 关于星号的问题用 string.split("\\*")解决。 关于斜线的问题用 sring.split("\\\\")解决。 关于中括号的问题用 sring.split("\\[\\]")解决。 ...
split函数在spark和presto/hive中的区别
m0_72187251的博客
04-28 1826
在正则表达式中，点号 `.` 表示匹配任意单个字符，因此在使用 `split` 函数时，需要对点号进行转义，表示点号的字面上的意义。但是在许多编程语言中，包括 Java 在内，`\` 本身也是一个转义字符，因此如果直接使用 `split` 函数时只使用一个 `\` 进行转义，实际传入的分隔符可能并不是我们想要的字符，而是其它的字符或组合。在我们的例子中，我们想要使用 `.` 做为分隔符，因此我们需要使用 `'\\.'` 作为参数传入 `split` 函数中。presto中是普通字符串。
spark字符串操作处理
盛源的博客
07-25 8900
目录 1 spark-sql字符串截取操作 1.1 sql语句中使用 1.2 dsl语句中使用 1 spark-sql字符串截取操作 1.1 sql语句中使用 1 返回字符串A从start位置到结尾的字符串 select substring('abcde',3); cde select substring('abcde',-2); de 2 返回字符串A从start位置开始，长度为len的字符串 select substring('abcde',3,2); cd select substrin
Spark(Scala) 在 split时遇到的坑
我的博客
08-30 8129
import org.apache.spark.sql.functions._ split(data(field), "|")) data是一个Spark DataFrame，其中的field字段是由竖杠|隔开的字符串（如："中国|美国|英国"） 我写上述代码是为了将其切开得到每个国家（"中国","美国","英国"），然而结果却是("中"，&qu
sparksql 数据按逗号拆分成多行
woods的博客
05-20 6066
比如： 原表(表名：table1) id num 1 001,002,003 2 001,002 转换成 id num 1 001 1 002 1 003 2 001 2 002 使用lateral view explode()语法 使用方法是: select id,num_per from table1 lateral view ex...
大数据技术栈之Spark：JSON字符串处理
飞机的博客
04-11 933
在本文使用Scala Spark实现对JSON字符串的整理
Spark 的两种核心 Shuffle 详解.pdf
10-08
Spark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle。
详解IntelliJ IDEA创建spark项目的两种方式
08-26
"IntelliJ IDEA创建Spark项目的两种方式" IntelliJ IDEA是进行 Scala 开发的一个非常好用的工具，可以非常轻松查看 Scala 源码，当然用它来开发 Java 也是一样爽的。在使用 IntelliJ IDEA 创建 Spark 项目时，需要...
PHP Echo字符串的连接格式
12-18
`.`用于连接两个字符串，而`,`可以用于在同一行内输出多个表达式。例如： ```php echo 'Hello', 'World'; // 输出 "Hello World" echo 'Hello' . 'World'; // 输出 "HelloWorld" ``` 在处理数组和动态内容时，`...
Spark，一种快速数据分析替代方案
01-30
是一种可扩展的数据分析平台，它整合了内存计算的基元，因此，相对于Hadoop的集群存储方法，它在性能方面更具优势。Spark 是在Scala语言中实现的，并且利用了该语言，为数据处理提供了独一无二的环境。了解Spark的...
Spark三种属性配置方式详解
09-30
本文将详细解释Spark的三种属性配置方式。 1. Spark properties Spark properties是控制应用程序核心行为的主要配置项，可以通过`SparkConf`对象或Java系统属性来设置。例如，你可以创建一个`SparkConf`实例，然后...
spark处理csv文件中带逗号内容的小坑
JIE的博客 --- moon_coder
12-15 1563
当我们在处理如下图所示的csv文件时，可以发现其中的一些内容含有逗号。 我们在读取的时候将其中的内容拿 \t 分割，这样就能进行处理了 spark 处理csv参考文章：Spark读取csv文件，清洗后存入Hive库中 ...
split函数解析
学习，我们是认真的
07-10 1303
今天在使用Spark做数据分析时候遇到一个问题，解析文件得到的字段数目总是跟预设的有出入，经过反复排查，发现是scala中split函数使用出现错误导致的，通过查看Java API文档中的split函数解释，才真正的理解split函数的使用，下面分享一下自己的认识。官方API文档解释**1.String[] split(String regex)** Splits this string
源码分析 --- Spark如何确定Splits和分区数
杨鑫newlife的专栏
05-29 1311
一、结论: 默认情况下Splits和Task和Partition数是一一对应的，数量是一样的； 1.如果在没有指定分区数的时候，默认的是sc.defaultMinPartitions=min(sc.defaultParallelism,2)。也就是sc.defaultMinPartitions只有两个值1和2，当sc.defaultParallelism>1时值为2，当sc.defaultParallelism=1时，值为1； 2.如果是读取HDFS的文件的话，分区是当我们计
深信服技术认证之使用spark进行数据分析示例之拆分字段
sangfor_edu的博客
04-02 2830
背景：给定一数据集，结构如下： 数据说明： 字段 字段说明 positionName 职位名称 salary 薪水 workYear 工作年限 city 城市 companyShortName 公司简称 companySize
大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化
牧羊人的方向
04-23 3061
Spark大数据分析中涉及到RDD、Data Frame和SparkSQL的操作，本文简要介绍三种方式在数据统计中的算子使用。
Spark数据读取格式解析
qq_32253371的博客
02-12 1772
        文件存储编码格式 建表时如何指定 优点弊端 textfile    文件存储就是正常的文本格式，将表中的数据在hdfs上 以文本的格式存储 ，下载后可以直接查看，也可以使用cat命令查看 1.无需指定，默认就是 2.显示指定stored as textfile 3.显示指定  ST...
基于粒子群算法优化的BPNN和ElM对海浪高度的预测+python源代码+文档说明
最新发布
08-18
<项目介绍> - 基于粒子群算法优化的BPNN和ElM对海浪高度的预测 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
sparkstreaming如何分割字符串
04-25
可以使用 Spark 的 split() 函数来分割字符串。代码示例如下： ``` // 创建 SparkSession val spark = SparkSession.builder .appName("Spark Streaming Example") .master("local[*]") .getOrCreate() // 创建 RDD val data = spark.sparkContext.parallelize(Seq("Hello,World", "Goodbye,World")) // 将逗号作为分隔符分割字符串 val words = data.flatMap(line => line.split(",")) // 输出分割后的单词 words.foreach(println) ``` 在上面的示例代码中，我们首先创建了一个 SparkSession 对象，然后创建了一个包含两个字符串的 RDD。接着，我们使用 flatMap() 函数将每个字符串分割成单词，并且将它们合并到一个新的 RDD 中。最后，我们使用 foreach() 函数将分割后的单词输出到控制台上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卢子墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值