大数据
weixin_43779531
这个作者很懒,什么都没留下…
展开
-
大数据
grep 筛选命令,可以将大量数据简洁化 find 这个命令是文件查找命令,在哪个目录下执行就是查找这个目录下的文档 netstat -nlp | grep 这个是查看端口号 目前在生产中还没有很好的使用 vi gg G gD dd i 注意复制黏贴命令 部署hadoop 注意查看core-site.xml 文件,里面有回收站设置,生产上使用14407天或者14 注意:Linux没有回收站的概念 ...原创 2018-11-23 14:46:07 · 102 阅读 · 0 评论 -
java.io.IOException: Bad connect ack with firstBadLink 关闭防火墙
java.io.IOException: Bad connect ack with firstBadLink as :50010 at org.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.createBlockOutputStream(DFSOutputStream.java:1614)atorg.apache.hadoop.hdfs.DFSOu...原创 2019-08-30 13:39:20 · 254 阅读 · 0 评论 -
spark 之所以调整core 内存数量,就是根据资源,进行充分使用,提升core的并行度
spark 之所以调整core 内存数量,就是根据资源,进行充分使用,提升core的并行度, 而不是一个core使用1g内存的结论原创 2019-08-30 15:45:39 · 218 阅读 · 0 评论