spark下的分词--spark+jieba

在网上找到的相关的spark程序都是spark自带的实例，或者没有python相关的代码，根据自己业务上的使用与调研，现在把涉及的spark相关的程序给介绍一下：

首先1.spark下的切词。对于我这个spark小白来说，切词对我都是挺难的，因为没找到相关的实例。其实spark下是可以直接调用一下结巴jieba切词的。只不过格式要换一下。现在上一下代码：

split_jieba2.py

import jieba

import sys

import os

import re