- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据技术——Hadoop基础认识
大数据技术——Hadoop基础认识前言大数据信息技术的发展对生产生活的重要影响主要式通过对大量数据的抽象分析，挖掘其中的信息价值，指导生产或决策一、Hadoop是什么Hadoop可以实现大量数据的存储和计算，支持使用简单的编程模型跨计算机集群对大型数据集进行分布式存储和处理。Hadoop组件Mapreduce负责数据存储和读取的hdfs和分任务处理数据每个文件分片由单独的机器去处理，即Map方法，将各个机器计算的结果汇总并得到最终的结果，即Reduce方法。NameNode管理HDFS
2021-11-28 16:52:14
1050
原创 centos下运行hadoop的wordcount实例
centos下运行hadoop自带的wordcount实例我的版本：Centos7；JDK1.8.0；Hadoop2.8.0一、步骤1.启动hadoop及yarn功能组件，查看jps进程数代码如下：start-dfs.shstart-yarn.sh部分命令图片示例：yarn主要功能是向ResourceManager申请计算资源并和NodeManager交互来执行和监控具体的task2.在虚拟机本地创建文本文件vim编辑文本内容，我是在根目录创建的vim name.txt示
2021-11-21 22:19:49
2027
原创 linux虚拟机centos7.2 hadoop伪分布式安装步骤
@centos7.2 hadoop伪分布式安装步骤一、安装前基础配置1.，输入vim /etc/sysconfig/network 命令，添加自己的主机名2.输入hostname huisenling（huisenling为我的主机名）命令，修改主机名，重启后生效3.设置ip地址修改配置文件更改ip地址命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33重启网络，命令：service network restart输入ifconfig命令，查
2021-11-16 14:34:20
2969
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人