- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hdfs 文件读写的过程详解（大数据面试题系列~~~）
HDFS 集群以管理节点-工作节点的模式在运行，即一个namenode(管理节点)和多个datanode(工作节点)。namenode 管理文件系统的命名空间，它维护着文件系统树及整棵树内所有文件和目录。namenode 也记录着每个文件中各个块所在的数据节点信息。datanode 是文件系统的工作节点，它们根据需要存储并检索数据块。文件读取过程剖析首先HDFS 客户端向namenode 节...
2019-02-27 23:10:11
1065
原创 关于hadoop 的shuffle 过程理解（面试题系列~~~）
文章目录map 端的shuffle 过程reduce 端的shuffle 过程复制阶段合并阶段MapReduce 确保每个reducer 的输入都是按键进行排序的。系统执行排序，将map 输出作为输入传给reducer 的过程称为shuffle。map 端的shuffle 过程map 端会先将输出写入到内存缓冲区，当内存缓冲区到达指定的阈值时，一个后台线程就开始将缓冲区的内容spill 到...
2019-02-27 00:58:15
1025
原创 centos7 下mysql 忘记root密码后怎么办？？？详细解决方案如下~~~
今天想要连接一台许久未用的服务器上的mysql, 但是忘记了密码，经过查找解决方案如下：编辑mysql 配置文件my.cnf,在[mysqld]的段中加上一句：skip-grant-tables[root@dbus-n1 app]# vi /etc/my.cnf[mysqld]skip-grant-tables.....重启mysqld, root 无密码登录[root@...
2019-02-26 14:17:48
225
原创 kafka 的message 格式解读
CRC32：4个字节。消息的CRC校验码。magic：1个字节。魔数标识，与消息格式有关，取值为0或1。当magic为0时，消息的offset使用绝对offset且消息格式中没有timestamp部分；当magic为1时，消息的offset使用相对offset且消息格式中存在timestamp部分。attributes：1个字节。0~2位表示消息使用的压缩类型，0->无压缩 1-&gt...
2019-02-25 21:01:29
4773
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人