hadoop fs -cat /hdfs/riskModelAuto/2018-07-24/mid/courtnotice_mid.csv/* | less
hadoop 清洗文件出现乱码:
解决思路:可以看文件最前面有没有:
import sys
reload(sys)
sys.setdefaultencoding(‘utf8’)
以及文件用到的其他文件或者字典文件(多个文件可能有的加了U,有的没加U)
前面加上上述的编码格式;
hadoop fs -cat /hdfs/riskModelAuto/2018-07-24/mid/courtnotice_mid.csv/* | less
hadoop 清洗文件出现乱码:
解决思路:可以看文件最前面有没有:
import sys
reload(sys)
sys.setdefaultencoding(‘utf8’)
以及文件用到的其他文件或者字典文件(多个文件可能有的加了U,有的没加U)
前面加上上述的编码格式;