![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
清酒暖心①
一无所有,或许才更能放的开吧!
展开
-
MapReduce的流程(带图有详解)
客户端Client提交一个作业,先提交给YARN集群,YARN集群接收到客户端Client的请求之后,知道客户端要去执行一个作业\要去处理某一个数据,然后它先去检查客户端有没有这个权限去提交这个作业,然后ResourceManager和NameNode进行通信,告诉NameNode有一个客户端想要去执行一个程序\去处理某一个数据,让NameNode让HDFS集群去检查一下要处理的这个文件是否在集群中,如果这个文件在的话,那么就正常开始执行。 在YARN集群里面,ResourceManager随机的从众多..原创 2020-09-15 20:31:50 · 490 阅读 · 0 评论 -
IDEA配置推送jar包到linux服务器
Tools->Deployment->Configuration… 1> Connection标签下 Type:SFTP SSH configuration: host:集群客户端的ip port:22 User name:集群客户端的用户名 Password:集群客户端的密码 Root path:/home/用户名 Encoding for client-server communication:UTF-8 2> Mappings标签下 Local path:定位到idea当前工程原创 2020-09-14 18:53:24 · 504 阅读 · 2 评论 -
HDFS的读写原理(适合基础入门!!!)
HDFS的读原理 Configuration conf = new Configuration(); conf.set("fs.defaultFS","hdfs://us1:9000"); //DistributedFileSystem类的对象 FileSystem fs = org.apache.hadoop.fs.FileSystem.get(conf); FSDataInputStream fsdis = fs.open(new Path("/da...原创 2020-09-10 11:41:39 · 522 阅读 · 0 评论