计算机软件、IT、互联网
一条腿入门的大白
一个初步学习大数据的新人,请多指教
展开
-
浅探Flume安装、使用和自定义实现
浅探Flume安装、使用和自定义实现一、浅谈Flumeflume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一些概念:Event:一个数据单元(传输单元),消息头和消息体组成。(Events可以是日志记录、 avro ...原创 2020-01-15 20:24:22 · 179 阅读 · 0 评论 -
虚拟机上Hadoop完全分布式搭建
虚拟机上Hadoop完全分布式搭建虚拟机准备关闭防火墙且进行免密钥处理安装JDK并配置JAVA_HOME:获取Hadoop文件包并进行解压和配置初始化集群并启动测试集群虚拟机准备以我自身虚拟机为例:IPNamerole192.168.107.11node01NameNode192.168.107.12node02SecondaryNameNode、Data...原创 2019-08-30 15:14:20 · 240 阅读 · 0 评论 -
hdfs的高HA模式搭建
学习Hadoop的第x天[2]浅谈HA模式浅谈HA模式hdfs是主从模型,一个NameNode掌管多个DataNode。这样就会存在一个问题——单点故障。一旦NameNode所在的节点机子发生问题挂掉了,那么整个集群也崩了。为了解决这个问题,可以使用HA模式,多设置一个NameNode并处于准备状态,一旦活动中的NameNode挂了,准备状态的NameNode就马上变成活跃状态来接管集群。(...原创 2019-09-02 11:47:35 · 1323 阅读 · 0 评论 -
IDEA+MAVEN使用Hadoop的API
学习Hadoop的第x天[3]环境准备打开IDEA创建Maven工程配置pom.xml导入Hadoop配置文件创建Demo环境准备装在虚拟机的Hadoop集群,装在windows宿主机上的IDEA、Maven和JDK。打开IDEA创建Maven工程配置pom.xml由于我们只是调用API进行简单的文件系统使用,所以只需要添加一个依赖导入Hadoop配置文件从虚拟机Hadoop集群...原创 2019-09-19 14:33:44 · 792 阅读 · 1 评论