![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparksql
大数据小蜗牛
大家好,我是大数据小蜗牛,博主会不定期在博客上更新在大数据开发的过程中遇到的问题以及解决方案,大家喜欢的话点击关注哦!!!
展开
-
关于hive和sparksql中的转义符如何处理
问题:在做hive拼接json串的时候遇到了字符串中含有双引号,比如"key1":"我是"中国"人",解决:如果这样拼接的话会直接报错,这个时候需要转义符进行转义,而hive是对转义符转义三次,所以在hive里正确的写法是regexp_replace(字段名,'"','\\\\"') 在sparksql整合hive的时候,要用regexp_replace(字段名,'"...原创 2019-02-27 18:11:22 · 5040 阅读 · 0 评论 -
spark2.2 批量往es7.1.1中插入数据的时候问题
报的错为:Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, org.elasticsearch.spark.deploy.yarn.security.EsServiceCredentialProvider.credentialsRequir...原创 2019-09-05 18:22:02 · 1344 阅读 · 0 评论