![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
withme9919
这个作者很懒,什么都没留下…
展开
-
java读取hdfs数据
想在一台搞了小半天,终于调通了,感觉有些地方和网上说的不太一样,mark一下。目的:在java程序中访问hdfs数据,用作后续处理。主要在配置,要加载hadoop下面的core-site.xml和hdfs-site.xml这两个文件,还要自己手动添加一个配置文件(因为在客户端访问需要秘钥)。贴一下比较重要的部分的代码:configuration.addResource(new FileInputS...原创 2018-03-22 17:43:32 · 2128 阅读 · 1 评论 -
java写hdfs文件有乱码
java写到hdfs文件中,用hadoop命令查看没有问题,spark程序读取再println也没问题,用spark-shell collect的时候出现乱码。回到代码中发现用writeChars()这个函数写入文件,解决办法:用write(str.getBytes())就好了。String resultStr = guid + "\t" + StringUtils.join("#", recVi...原创 2018-04-10 11:31:25 · 2071 阅读 · 0 评论