![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Casionx
爱家人 爱自己 爱生活 爱coding
展开
-
hadoop初学入门之一:相关博文资料与注意事项
有关hadoop相关介绍就不多说 贴上几个博文,仔细读几篇,基本概念理解不会有问题。 【知乎】关于MapReduce的理解? 【文档】 Google-MapReduce中文版 链接:https://pan.baidu.com/s/1dBvgw2 密码:bluq 【腾讯大数据】 MapReduce中shuffle过程的理解 【董的博客】hadoop相关专栏 【知乎】HDFS扫盲原创 2018-01-24 11:02:12 · 755 阅读 · 0 评论 -
hadoop搭建时为什么最好重新编译源码的原因
一般hadoop需要在自己的linux环境下重新将源代码编译一下,为什么hadoop要自己再次编译一下,网上很多都是说:官网提供编译好的只有32位的,没有提供64位的,其实这种解释是错的。官网可下载的也有编译好的64位。那为什么要大费周折的重新编译?主要是要重新编译本地库(Native Libraries) 代码(Linux下对应[.so]文件,window下对应[.dlI]文件),也就是编译原创 2018-01-23 22:16:49 · 8863 阅读 · 0 评论 -
hadoop+spark 安装注意事项,资料及安装大礼包
本地运行hadoop/spark程序相关代码,肯定需要模拟运行时的hadoop/spark 相关环境,一些资源包什么的,所以,window 下搭建本地测试环境,前提就是要同样配置好hadoop/spark的环境。 资料包 【下载链接】 云盘链接 https://pan.baidu.com/s/1nvXdDsl 密码:5sw0【虚拟机linux 上需要安装的软件包】 ...原创 2018-01-29 16:46:02 · 473 阅读 · 0 评论 -
hadoop初学入门之二:完全分布式集群搭建
相关资源见 hadoop及spark 资料及安装大礼包 极客学院伪分布式搭建教学视频 【目标】 在3台服务器上搭建 Hadoop2.7.5集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序【搭建思路】 (1)准备基础设施准备3台服务器,分别命名为 master、slave1、slave2 互相配置为 SSH 免密码登录(因为hadoo原创 2018-01-29 14:58:38 · 295 阅读 · 0 评论