qq_35170267的博客

学习kafka一、简介kafka是一个分布式的消息队列，可以集群部署，消息队列的作用如下。kafka对消息保存时根据Topic进行归类。发送消息者称为Producer，消息接受者称为Consumer。kafka集群有多个kafka实例，每个实例称为broker。无论是kafka就集群，还是consumer都依赖于zookeeper集群保存一些meta信息，保证系统可用性。...

MacBook下Hadoop-2.9的配置由于研究生课程需要，今天下午搭建了本地Hadoop环境。我用的是Hadoop-2.9版本，不打算一上来就3.x（其实是因为大部分教程都是2.x, 呵呵）。本人MacBook Pro配置是 8G内存，256GSSD，InterCore I5处理器。跑起来3个CentOS虚拟机+IDEA+网易云+有道云笔记+QQ+微信+20个Chrome网页不成问题，大概...

CentOS虚拟机修改ip为静态IP地址很多同学在玩耍虚拟机的时候使用的是NET模式，这种方式为虚拟机申请ip地址默认是DHCP，也就是动态申请的，ip地址经常变化，不方便操作。在虚拟机里使用ifconfig命令查看自己的虚拟机用的是哪一种网络。比如我这里使用的是ens33，记住这个。sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33...

hdfs节点间文件块分配原理hdfshdfs的全称是Hadoop Distributed File System，是一个常用的分布式文件系统。当然也可以选择其他文件系统。hdfs中的文件保存方式在hdfs中，文件被客户端分解成若干块，每一块都有多份拷贝(拷贝的数量可配置)，每一份拷贝在不同的datanode节点上。这就保证了如果其中一台datanode节点宕机，文件数据也不会丢失。元数...

Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序新建一个Maven项目不用说了，普通的Maven项目就行。加入Hadoop依赖其中的${hadoop.version}对应自己使用的Hadoop版本hadoop-client<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop...