![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
繁华落叶草
这个作者很懒,什么都没留下…
展开
-
hadoop伪分布安装配置
1.宿主机( windows)与客户机(安装在虚拟机中的Linux)的网络连接方式 1.1 host-only 宿主机与客户机单独组网 好处:网络隔离 缺点:虚拟机与其他服务器之间不能通信 1.2 bridge 客户机与宿主机在同一个局域网内 好处:在同一个局域网内,可以相互访问 缺原创 2017-05-19 19:28:59 · 529 阅读 · 0 评论 -
RDD五大特性
1)有一个分片列表,就是能被切分,和Hadoop一样,能够切分的数据才能并行计算。 一组分片(partition),即数据集的基本组成单位,对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由BlockManager实现的,每原创 2017-07-09 16:37:11 · 8976 阅读 · 0 评论