![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
xinlinliu
爬虫、大数据、数据分析、机器学习、数据可视化学习者...
展开
-
大数据高频面试题--Zookeeper、Flume知识点
Zookeeper相关总结1.1 选举机制半数机制1.2 常用命令ls、get、createFlume相关总结2.1 Flume组成,Put事务,Take事务1)Flume组成,Put事务,Take事务TaildirSource:断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置,实现断点续传。FileChannel:数据存储在磁盘,宕...原创 2019-11-09 15:18:12 · 939 阅读 · 1 评论 -
大数据高频面试题--Hadoop相关知识点
第二章 Hadoop相关总结1.1 Hadoop常用端口号- dfs.namenode.http-address:50070- dfs.datanode.http-address:50075- SecondaryNameNode辅助名称节点端口号:50090- dfs.datanode.address:50010- fs.defaultFS:8020 或者9...原创 2019-11-09 15:09:38 · 704 阅读 · 0 评论 -
Scala基础语法
一、Scala介绍1.Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。2.Scala官网6个特征。* 1).Java和scala可以混编* 2).类型推测(自动推测类型)* 3).并发和分布式(Actor)* 4).特质,特征(类似java中interfaces 和 abstract结合)* 5).模式匹配(类似java sw...原创 2019-11-08 10:10:22 · 685 阅读 · 2 评论 -
Hadoop01-入门&集群环境搭建--非原创(test)
Hadoop01-入门&集群环境搭建今日内容 Hadoop的介绍 集群环境搭建准备工作 Linux命令和Shell脚本增强 集群环境搭建来来来大数据概述 大数据: 就是对海量数据进行分析处理,得到一些有价值的信息,然后帮助企业做出判断和决策. 处理流程: 1:获取数据 ...原创 2019-11-06 19:04:53 · 1747 阅读 · 0 评论