![](https://img-blog.csdnimg.cn/20200627203000116.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop学习笔记
Hadoop框架主要用来解决海量数据的存储和分析计算问题。作为大数据开发的入门级框架,打好地基再出发。
编程小透明
生如逆旅单行道,哪有岁月可回头。
展开
-
Hadoop学习笔记_4:运行模式之伪分布式模式
伪分布式模式Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.Hadoop也可以以伪分布式模式在单节点上运行,其中每个Hadoop守护程序都在单独的Java进程中运行。启动HDFS并运行MapReduce程序配置集群配置etc/hadoop/hadoop-env.sh,修改JAVA_..原创 2020-07-05 22:39:42 · 383 阅读 · 0 评论 -
Hadoop学习笔记_3:运行模式之本地模式
Hadoop运行模式本地模式By default, Hadoop is configured to run in a non-distributed mode, as a single Java process. This is useful for debugging.默认情况下,Hadoop被配置为以非分布式模式作为单个Java进程运行。 这对于调试很有用。官方Grep案例The following example copies the unpacked conf directory原创 2020-07-05 11:42:37 · 274 阅读 · 0 评论 -
Hadoop学习笔记_2:环境搭建(JDK+Hadoop)
环境搭建虚拟机克隆、配置静态IP(可参照以下列举的博文作为参考配置)CentOS 7 最小化安装后的注意事项及一些必备组件的安装CentOS7 配置静态IP-1CentOS7 配置静态IP-2VMware如何克隆已安装的虚拟机VMware克隆虚拟机XShell上传文件到Linux服务器上-安装lrzsz在opt,目录下新建module、software文件夹。分别存放解压后文件及压缩文件包。JDK安装配置## 解压jdk压缩包tar -zxvf j原创 2020-07-05 01:29:48 · 3000 阅读 · 0 评论 -
Hadoop学习笔记_1:Hadoop相关生态圈了解学习
写在开头Hadoop生态圈主要解决:海量数据的存储和分析计算问题。大数据特点(4V):大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)Hadoop优点(4高):高可靠性、高拓展性、高效性、高容错性Hadoop1.x和2.x的区别:2.x组成Common:辅助工具HDFS:数据存储MapReduce:计算(1.x版本没有Yarn,MapReduce负责计算和资源调度)Yarn:资源调度组成HDFS架构组成NameNode,原创 2020-07-05 11:56:23 · 202 阅读 · 0 评论