![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
JasonAndChen
乐观自信
展开
-
Hadoop Datanode 结点 和 Summary信息都为0
首先我说说自己遇到的问题,以为hadoop 集群配置好了,高兴的起飞 master,http://192.168.111.130:50070/dfshealth.html#tab-overview,结果现实很打脸,请看如下界面,数据块信息都不显示,,然后我就开始各种排查问题,遇到问题不要慌首先我检查了我的防火墙和SELinux https://blog.csdn.net/asdrt12589wto1/article/details/108674608,按照链接给的方法进行检...原创 2020-09-19 12:25:28 · 2184 阅读 · 1 评论 -
Linux 防火墙和SELinux的开启和关闭
防火墙(firewalld)临时关闭防火墙systemctl stop firewalld 永久防火墙开机自关闭systemctl disable firewalld 临时打开防火墙systemctl start firewalld 防火墙开机启动systemctl enable firewalld 查看防火墙状态systemctl status firewalld[root@slave1 ~]# systemctl disable firewalldRemoved symlink /.原创 2020-09-18 23:20:09 · 1112 阅读 · 0 评论 -
HBase设计架构
传统数据库与HBase存储方式关系型数据库中主键不能重复,但在HBASE 中可以重复,若重复代表同一条记录,用空间换取查询效率一个完整分布式的HBase的组成示意图如下https://www.cnblogs.com/csyuan/p/6543018.html...原创 2019-11-30 22:19:15 · 341 阅读 · 0 评论 -
MapReduce核心编程思想
原创 2019-11-30 22:11:34 · 175 阅读 · 0 评论 -
Ip地址配置相关
设置CentOS 主机名hostnamectl set-hostname bigdata121hostname 查看设置是否成功Step1: vi etc/sysconfig/network-scripts/ifcfg-en*Step2: vi etc/resolv.confStep3: perform commond =>service...原创 2019-11-30 22:08:22 · 138 阅读 · 0 评论 -
什么是大数据
2002 大数据提出 由美国引入----麦肯锡报告4V特征:1)数据量大2)多样性3) 输入和输出速度快(流式数据)4)价值密度低##积累很多的数据才能发掘大数据隐藏的意义####只要能发挥和挖掘数据的价值,不用纠结数据量的大小##大数据核心问题---分布式存储、计算和分析 ------通过组件(计算框架)解决了Google的基本思想三篇论文 :G...原创 2019-11-30 22:03:08 · 308 阅读 · 0 评论 -
大数据环境搭建攻略
ip ddr / ipconfig 查看IP地址大数据环境安装部署步骤https://www.cnblogs.com/Jims2016/p/6985591.html设置CentOS 主机名hostnamectl set-hostname 主机名hostname 查看设置是否成功1、搭建环境步骤:1)安装VMWare,然后安装CentOS,并修改linu...原创 2019-11-30 21:59:08 · 821 阅读 · 0 评论 -
Hdfs工作机制
namenode 工作机制datenode 工作机制原创 2019-11-30 21:54:52 · 108 阅读 · 0 评论 -
MR 执行WordCount流程分析
原创 2019-11-30 21:38:37 · 239 阅读 · 0 评论 -
MapReduce详细工作流程
原创 2019-11-26 11:51:54 · 407 阅读 · 0 评论 -
Shuffle机制
完整地从map task端读取数据到reduce 端。 在跨节点读取数据时,尽可能地减少对带宽的不必要消耗。 减少磁盘IO对task执行的影响。计算切片大小方法: FileInputFormat 类280行 切片公式MapReduce统计单词过程...原创 2019-11-26 11:49:44 · 253 阅读 · 0 评论 -
Yarn架构
Yarn 三种调试方式:FIFO容量调度公平调度原创 2019-11-26 11:45:49 · 92 阅读 · 0 评论 -
Hadoop优化点
MapReduce 跑的慢的原因Mapreduce 程序效率的瓶颈在于两点:1)计算机性能CPU、内存、磁盘健康、网络2)I/O 操作优化(1)数据倾斜(2)map和reduce数设置不合理(3)map运行时间太长,导致reduce等待过久(4)小文件过多(5)大量的不可分块的超大文件(6)spill次数过多(7)merge次数过多等。6.2 Map...原创 2019-11-26 11:42:35 · 87 阅读 · 0 评论