spark初识-使用rdd与sparksql 分词

spark原理

原理啥的就不多说了，这里一共使用了3种方法对文本内容进行分词，当然，是按照分组的形式分词，如果只是简单的分词，将分组去掉就好。

1 sparksql

（1 ）采用sql

为什么要将这个放在第一位呢，因为在我看来，这个是最容易理解的，仅仅只使用了简单的正则以及sql中的一些函数完成了分词。下面，请看代码：

//获取数据 如果数据在MySQL数据库中的使用相应的获取方式，这里是从hive中获取数据
df=spark.sql('''
select order_id,package_name from spark_catalog.nga.app_all
''')
df.show()
//构建临时表
df.createOrReplaceTempView('content ')
//分词 这里采用了explode这个函数，作用是将一行炸裂成多行
word_counter=spark.sql('''select use