![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 62
爱编码的程序员
一个爱好编程的单身狗,从事一线软件开发,毕业于软件工程专业,乐于钻研大数据、Python、java开发。
展开
-
大数据相关的考试题(企业面试、笔试适用,基础)-----珍藏版
作为一个从事一线的工程师,一直苦于没有一份很全的大数据题目,特地总结了找了一些大数据的题目,下面的一些题目是对于大数据工作者最基础的知识了,因为工作忙的原因,会持续补充中…1、Namenode 在启动时会自动进入安全模式,在安全模式下,说法错误的是()A、安全模式目的是在系统启动时检查各个DataNode 上数据块的有效性B、根据策略对数据块进行必要的复制或删除C、当数据块最小百分比数满足的最小副本数条件时,会自动退出安全模式D、文件系统允许有修改(正确答案)2、Hadoop 运行模式不包括()原创 2021-08-08 22:55:50 · 2465 阅读 · 0 评论 -
单词统计代码--用java结合Hadoop去做,有源码注释
统计单词统计,统计每个单词的词频。更好地理解Hadoop框架的思想。package mapreduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop...原创 2020-03-19 14:27:42 · 194 阅读 · 0 评论 -
轻轻松松谈谈大数据
大数据概述什么是大数据大数据定义:大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的...原创 2020-03-18 23:57:59 · 367 阅读 · 0 评论 -
大数据学习——flume相关笔记
flume收集、移动、聚合大量日志数据的服务。基于流数据的架构,用于在线日志分析。基于事件。在生产和消费者之间启动协调作用。提供了事务保证,确保消息一定被分发。Source 多种sink多种.multihop //多级跃点.水平扩展: //加节点 竖直扩展 //增加硬件。Source接受数据,类型有多种。Channel临时存放地,对Source中来的数...原创 2020-02-28 10:55:35 · 426 阅读 · 0 评论 -
分布式学习--Zookeeper相关安装、配置以及使用笔记
zookeeper协同服务系统。分布式系统协同处理。小集群.单机版文件系统层级结构存储。path:/home/centos/xxx = znode ---> byte[] <= 1M节点类型:1. 永久 2.临时 3.序列节点。10递增. 数据状态:版本.zkServer.sh startzkServer.sh statuszkCli.sh -serv...原创 2020-02-26 22:22:51 · 325 阅读 · 0 评论 -
大数据——kafka的相关笔记
flume收集日志、移动、聚合框架。基于事件。agentsource //接收数据,生产者 //put() //NetcatSource //ExecSource,实时收集 tail -F xxx.txt //spooldir //seq //Stress //avroSourcechannel //暂存数据,缓冲区, //非永久性...原创 2020-02-25 21:28:40 · 488 阅读 · 0 评论