Spark——DataFrame/Hive表导出为Excel、CSV之逆向思维

问题场景

我处理了一批数据，写入到了Hive表中。算法工程师想要用这些数据来训练模型，需要先将这部分数据以Excel或csv的格式导出到本地，但是因为Hive表中有一个JSON字符串类型的字段，而且有的字符串比较长，不管是在Hue、Zepplin还是用代码导出Excel，都会造成这一列数据被截断，因为Excel中单个cell多能容纳的最大长度为32767个字节。

然后，我就尝试导出为csv文件，但是导出为csv文件又引出了另外一个问题，就是后续在解析csv文件时，要通过分隔符（csv格式默认分隔符为逗号","）来切分所有列。又因为在导出为csv文件时，指定的分隔符只能是单个字符，而那个JSON字符串列中存在各种特殊符号，所以就造成，不管用什么分隔符，后续都无法正确切分所有列。

因为惯性思维，或者思维定式吧，我就一直在想，怎么对csv文件进行处理才能正确切分所有列，想了两三个小时，试了很多方法，发现还是绕不过分隔符的问题。

突然，灵光一现，我用一个"~"作为分隔符，虽然JSON字符串列中存在这个分隔符，但是我可以先把这个列中的 这个分隔符替换为其他比较复杂的分隔符，在我把csv文件切分未多列之后，我将之前替换的复杂分隔符在替换回波浪线不就行了吗！

一点思考

通过上面的这个问题，发现在很多时候，我们思考问题的方式真的很容易思维定式，只会想着正向思考问题，但其实，在正向思考问题得不出解决方案的时候，我们应该要想到逆向思维，往往可能会出现柳暗花明又一村的效果。