![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 62
你说_
欢迎大家关注小白菜!
github:https://github.com/yuanyi0510
个人博客:https://yuanyi0510.github.io/
展开
-
搭建伪分布式环境访问不到NameNode页面
在操作API文档Standalone Operation的例子时,出现了页面访问错误的情况。原因如下:NameNode、DataNode等启动失败。可以使用jps查看启动情况。如图:可能是虚拟机的防火墙开启。虚拟机安装时防火墙默认开启,很多人没有注意这个问题。将防火墙关闭之后可以使用curl ip:50070或者netstat -anp | grep 50070监听端口查看是否访问成功。如下...原创 2018-09-25 17:19:26 · 653 阅读 · 0 评论 -
大数据Hadoop学习笔记(六)
HDFS HA背景:在hadoop2.0之前,HDFS集群中的NameNode存在单点故障(SPOF)对于只有一个NameNode的集群,若NameNode机器出现故障,则整个集群将无法使用,直到NameNode重新启动NameNode主要在一下两方面影响集群:NM机器发生意外NM机器需要升级HDFS HA通过配置Active/Standby两个NM实现在集群中对NM的热备...原创 2018-10-13 14:59:18 · 393 阅读 · 0 评论 -
大数据Hadoop学习笔记(五)
分布式部署本地模式Local Mode分布式Distribute Mode伪分布式一台机器运行所有的守护进程从节点DN和NM只有一个完全分布式有多个DN、NM在配置文件&HADOOP_HOME/etc/hadoop/slaves中配置三台机器:192.168.220.133 hdp-node-01 3g 1核CPU192.168.220....原创 2018-10-12 19:13:51 · 153 阅读 · 0 评论 -
大数据Hadoop学习笔记(四)
MapReduce运行过程========step1 :inputInputFormat读取数据转换成<key, value>FileInputFormatTextInputFormatstep 2:mapModuleMappermap(KEYIN , VALUEIN, KEYOUT, VALUEOUT)默认情况下——>K...原创 2018-10-12 18:51:10 · 175 阅读 · 0 评论 -
大数据Hadoop学习笔记(三)
1.HDFS架构讲解2.NameNode启动过程3.YARN架构组建功能详解4.MapReduce 编程模型HDFS架构讲解源自谷歌的GFS论文HDFS:*抑郁扩展的分布式系统*运行在大量普通的链家机器上,提供容错机制*为大量用户提供性能不错的文件存储服务NameNode:单一节点。文件元素据的操作。副本存在位置由namenode决定,读取文件尽量让 用户先读取最近的副...原创 2018-10-12 18:36:41 · 236 阅读 · 0 评论 -
大数据Hadoop学习笔记(二)
Single Node Setup官网地址1. 本地模式2.伪分布式模式************************* 本地模式 ****************************. grep input output ‘dfs[a-z.]+’ 运行mapreduce的例子,input是当前目录下的文件夹;output是运行输出结果储存的地方,并且在当前目录下没有...原创 2018-10-12 18:01:32 · 413 阅读 · 0 评论 -
大数据Hadoop学习笔记(一)
大数据Hadoop2.xhadoop用来分析存储网路数据MapReduce:对海量数据的处理、分布式。思想————&amp;gt; 分而治之,大数据集分为小的数据集,每个数据集进行逻辑业务处理合并统计数据结果(reduce)运行模式:本地模式和yarn模式input——&amp;gt;map——&amp;gt;shuffle——&amp;gt;reduce——&amp;gt;outputshuffle:将结果进行排原创 2018-10-12 17:30:43 · 357 阅读 · 0 评论 -
Linux每次重启network启动都失败
问题描述:刚开始学习hadoop,使用centOS7.0搭建集群,以hdp-node-01为原件克隆了两个副本hdp-node-02、hdp-node-03(mac地址都有重新生成),刚搭建完三个机器都是好的。但是关闭虚拟机重启之后,hdp-node-01机器出现了问题。使用ipcpnfig无法查询到ens33网卡的ip信息:如下图1。查询network的状态显示如下:重启network...原创 2018-10-12 11:16:22 · 4786 阅读 · 3 评论