Spark 按两种符号分割字符串

最新推荐文章于 2023-04-11 19:13:50 发布

卢子墨

最新推荐文章于 2023-04-11 19:13:50 发布

阅读量4.5k

点赞数

分类专栏： Spark原理、实战、总结文章标签： split

本文链接：https://blog.csdn.net/lukabruce/article/details/103603632

版权

Spark原理、实战、总结专栏收录该内容

56 篇文章 4 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在 Spark 中使用不同的分隔符进行字符串分割操作，包括常见符号和自定义分隔符的使用方法，帮助理解 Spark 处理字符串的灵活性。

摘要由CSDN通过智能技术生成

# 元数据

String  str= "//@颜渊-公子蝶:恭喜！！//@水城十二呆包子: 芳心纵火犯后继有人！//@安娜_专业土拨鼠:恭喜恭喜！！百万龙虾店少主登场！！//@絶対白2咩黙示録:撒金刚出生了！//@stoness打着哈欠说 :恭喜撒老师！盛世美颜后继有人！//@不能发芽的种子 :恭喜！！ //@卡李 :起什么名字？//@麦吉da法好太师囧 : 恭喜撒老"

# 要求 按照 ‘//@ ’ 及 ‘：’ 这两个字符进行切割

//去掉两端引号
String string1 = str.substring(1,  string.length() - 1);

//根据分号和逗号进行切割
String[] str = string.split ("//@|:");

#结果数据

恭喜！！
芳心纵火犯后继有人！
恭喜恭喜！！百万龙虾店少主登场！！
撒金刚出生了！
恭喜撒老师！盛世美颜后继有人！
恭喜！！ 
起什么名字？
恭喜撒老

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

卢子墨

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

【手写数据库toadb】SQL字符串如何被数据库认识？词法语法分析基础原理，常用工具

一个追逐梦想的码农

10-12

2万+

在当今信息化时代，数据已经成为企业和个人最为宝贵的资产之一。为了有效地管理和利用这些数据，数据库技术应运而生，并得到了广泛的应用。目前市场上已经有很多成熟的数据库产品，如MySQL、Oracle、PostgreSQL等，它们提供了丰富的功能和性能，满足了不同场景的需求。然而，这些数据库产品的庞大和复杂也让很多人感到困惑和不解，不知道数据库内部的运作机制和原理。为了解决这个问题，我们开发了toadb数据库。toadb的目标是以最基础的骨架来搭建一个数据库，让人们能够更清晰地了解数据库的本质和运作原理。

Spark MLlib 特征工程系列—特征转换Tokenizer和移除停用词

最新发布

08-25

2462

在这个例子中，我们自定义了停用词列表，移除了 “red” 和 “ball” 这两个词。Tokenizer适用于简单的基于空格的分词场景。提供更大的灵活性，可以处理包含特殊符号、标点符号等复杂文本的分词任务。是一个非常有用的工具，尤其是在自然语言处理（NLP）任务中，移除停用词可以提高文本分析的精度和效率。通过自定义停用词列表，你可以根据特定的应用场景来调整停用词的选择。

参与评论您还未登录，请先登录后发表或查看评论

spark中split()根据特殊符号“.“ “|“ “*“ “\“ “]“切割的表达

weixin_45441740的博客

11-05

2248

关于点的问题是用string.split("[.]") 解决。关于竖线的问题用 string.split("\\|") 关于竖线的问题用 string.split("\\|")解决。关于星号的问题用 string.split("\\*")解决。关于斜线的问题用 sring.split("\\\\")解决。关于中括号的问题用 sring.split("\\[\\]")解决。 ...

大数据技术栈之Spark：JSON字符串处理

飞机的博客

04-11

992

在本文使用Scala Spark实现对JSON字符串的整理

Spark日志——字符串切分|问题，连接mysql没有合适驱动包问题，数据库插入数据的顺序问题

D的博客

05-20

404

关于java String.split() 的问题

青岛金鑫-java技术攻略嫁给我是你一生的赌注，我怎么忍心让你输？

02-04

1097

关于点的问题是用string.split("[.]") 解决。关于竖线的问题用 string.split("\\|")解决。关于星号的问题用 string.split("\\*")解决。关于斜线的问题用 sring.split("\\\\")解决。关于中括号的问题用 sring.split("\\[\\]")解决。 ...

spark字符串操作处理

盛源的博客

07-25

9256

目录 1 spark-sql字符串截取操作 1.1 sql语句中使用 1.2 dsl语句中使用 1 spark-sql字符串截取操作 1.1 sql语句中使用 1 返回字符串A从start位置到结尾的字符串 select substring('abcde',3); cde select substring('abcde',-2); de 2 返回字符串A从start位置开始，长度为len的字符串 select substring('abcde',3,2); cd select substrin

spark RDD的学习，filter函数的学习，split函数的学习

sinat_26566137的博客

08-01

8143

参考https://blog.csdn.net/xufangfang5206/article/details/80030300 https://www.cnblogs.com/ruoniao/p/6869319.html split是可以用多种不同的符号（转义字符，以及标点符号）作为分隔符的！！！（1）读取txt文件，按\t分隔，将分割出来的列大于指定列的滤掉，解析不准；注意len...

Java字符串分割秘籍：掌握边界情况与性能优化的终极指南

在Java中，字符串分割意味着将一个复杂的字符串按照特定的分隔符转换为字符串数组。这一过程涉及到的数据结构简单但意义重大，因为它们是将原始数据组织为更易于管理和分析格式的基石。本章将揭开字符串分割在Java中...

【Java字符串分割全面解析】：掌握split方法，避免常见陷阱

字符串分割用于将字符串按照指定的分隔符拆分成若干个子字符串，这对于数据处理、日志分析、文本解析等场景至关重要。了解字符串分割的基本用法，可以帮助开发者更高效地处理字符串数据。 ## 1.1 分割操作的日常...

Spark SQL根据竖线进行字符串split函数取最后一个数组值

一个数据小开发的博客

03-23

7829

方法一，使用substring_index函数 select substring_index(get_json_object(data,'$.message'),"|",'-1') from table_name; 方法二，使用split函数思路：先利用反转函数reverse，把最后一个转到第一个，就可以在split后用下标为0的数组值，然后再使用一次reverse函数进行字符串反转，实例代码如下：这个地方需要注意的点是Spark SQL中使用split函数利用"|"，竖线分隔的时候需要..

spark中split()特殊符号"." "|" "*" "\" "]"

yaoxingkai7952的博客

12-21

1459

Spark1.6 SQL下的UDF--SplitCount(切分字符串并计算数组长度)

叶小刀

10-26

2990

UDF(用户自定义函数)：将自己写的函数加入到用户会话，和内置函数一样使用注意本案例适合spark1.X版的，spark2.x的版本不适用。 ===================================================================================== package com.victor.spark.sqlUDF im...

Spark(Scala) 在 split时遇到的坑

我的博客

08-30

8184

import org.apache.spark.sql.functions._ split(data(field), "|")) data是一个Spark DataFrame，其中的field字段是由竖杠|隔开的字符串（如："中国|美国|英国"）我写上述代码是为了将其切开得到每个国家（"中国","美国","英国"），然而结果却是("中"，&qu

SparkSql内置函数---字符串函数的使用(1)

xinji

03-01

9787

1. 字符串的拼接: concat concat(str1, str2, …, strN) - 返回由 str1, str2, …, strN 组成的字符串。 Note: at logic for arrays is available since 2.4.0. spark-sql> SELECT concat('xinji', 'xiaolin'); xinjixiaolin spark-...

split函数解析

学习，我们是认真的

07-10

1377

今天在使用Spark做数据分析时候遇到一个问题，解析文件得到的字段数目总是跟预设的有出入，经过反复排查，发现是scala中split函数使用出现错误导致的，通过查看Java API文档中的split函数解释，才真正的理解split函数的使用，下面分享一下自己的认识。官方API文档解释**1.String[] split(String regex)** Splits this string

spark自定义分区器实现

鲜橙多的博客

11-24

1950

前言：为什么我们要进行自定义分区当spark进行数据处理key-value类型数据时，会遇到数据由于key值的分布不均倾斜的情况，为了使得资源的合理布置我们会进行重分区，根据spark内部提供的分区器 HashPartitioner & RangePartitioner，我们也可以实现自定义不bb了： test case：用如下数据做word count 实现自定义分区 hadoop, spark hive hive spark hbase, hbase hbase hbase, hbase

大数据测试：利用spark将表中数据拆分

闫振兴的博客

07-31

4688

# coding:utf-8 from pyspark.sql import SparkSession import os if __name__ == '__main__': os.environ['JAVA_HOME'] = 'C:\Program Files\Java\jdk1.8.0_211' print(os.path) spark = SparkSessi...

spark sql实战—拆分数据

Spark 按两种 符号 分割字符串

Spark 按两种符号分割字符串