北慕辰的博客，欢迎各位大佬光临！！

大数据高频面试题——Hadoop篇（一）

数据采集工具Kettle 的详细介绍

数据采集工具Flume 的详细介绍与使用...

数据采集工具FlinkX 的详细介绍与使用

数据采集工具DataX 的详细介绍...

”2021年安徽省大数据与人工智能应用竞赛“ 大数据（网络赛）-本科组赛题 第二部分：大数据预处理部分 赛题回顾

数据采集工具Sqoop 的详细介绍\Sqoop简介\Sqoop原理架构Sqoop的安装sqoop import 从传统的关系型数据库导入HDFS、HIVE、HBASE…sqoop export操作 从HDFS、HIVE、HBASE… 导出到传统的关系型数据库

Hbase学习笔记，详细整理

hive高频面试题，汇总整理23题1、Hive的排序函数有哪些（4种）2、MySQL索引，索引失效，联合索引。3、说下你对mapreduce的了解4、说下你对窗口函数的了解5、row_number，rank，dense_rank有什么区别...

一、了解Hive二、Hive的基本语法三、Hive的数据类型四、Hive HQL使用语法五、Hive HQL使用注意六、Hive 的函数使用七、Hive 的Shell使用

Hadoop集群HDFS、YARN高可用HA详细配置步骤说明，附Zookeeper搭建详细步骤

        我们知道目前Hadoop主要包括有三大组件，分别是：分布存储框架（HDFS）、分布式计算框架（MapReduce）、以及负责计算资源调度管理的平台（Yarn），那么今天我们就来解析式的深入学习了解这三大组件。一、HDFS框架        HDFS（Hadooop Distributed File System）是Hadoop项目

...一、Redis主从复制(Replication)、二、Redis集群搭建

一、常见的非关系型数据库NOSQL分类二、了解Redis三、Redis的单节点安装教程四、Redis的常用命令五、BITMAP位图 六、Redis的数据模型 七、Redis持久化八、idea使用Jedis连接Redis

一、简单了解数据库（1）什么是数据库,数据库其实就是数据的仓库，数据库和普通文件系统的区别（3）数据库分类（4）什么是关系型数据库（5）什么是非关系型数据库二、SQL语句的基本操作三、SQL常用的内置函数

仅供学习交流使用一、选择题1.下面哪个程序负责 HDFS 数据存储。A、NameNodeB、JobtrackerC、DatanodeD、secondaryNameNode答案：C2.HDFS 中的 block 默认保存几份？A、3份B、2份C、1份D、不确定答案：A3.hadoop2.x版本之后 HDFS 默认 Block Size。A、32MBB、64MBC、128MBD、256MB答案：C4.大数据集群的主要瓶颈是A、CPUB、网络C、磁盘IOD、内存答

一、函数的种类1 .成员函数成员函数︰函数被使用在类的内部，作为类的一份子，称为类的成员函数2.本地函数(内嵌在函数内的函数）本地函数：定义到函数内部的函数叫本地函数3.函数值(匿名函数)4.高阶函数二、函数的声明和调用1.scala通过 def 关键字来定义一个函数格式： def 函数名（参数列表）: 返回值类型 = { 方法体 }2.scala可以自动推断出函数的返回值类型3.scala使用自动推断时，函数必须有等号；否则函数返回值都是Unit空类型4.声明函数时默认的访问

1.变量和常量2.字符串常用方法3.Int类型常用操作方法

一、什么是Scala？Scala既是面向对象的语言，也是面向函数的语言。scala可以为你在做大量代码重用和扩展时提供优雅的层次结构，并可以通过高阶函数来实现这样的目的

hdfs shell调用文件系统(FS)Shell命令应使用 bin/hdfs dfs -xxx 的形式。所有的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。例如：/parent/child可以表示成hdfs://namenode:namenodePort/pa

1.什么是hadoop ？概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。背景：作者Doug Cutting 受Google三篇论文的启发，开发了hadoop。2.hadoop组件的介绍（三大组件）hdfs：是一个分布式存储框架，适合海量数据存储mapreduce：是一个分布式计算框架，适合海量数据计算yarn：是一个资源调度平台，负责给计算框架分配计算资源3.hadoop的特点扩容能力(Scalable)：能可靠(reliably)地存储和处理PB级别的数据。

大数据学习之Linux基础知识储备Linux是一个自由的，免费的，源码开放的操作系统。Linux与Unix的对比：1、Linux思想源于Unix进行开发。2、Linux属于开源免费软件，公开内核源代码。而Unix属于闭源收费软件。3、Linux可以自由安装，支持绝大部分硬件平台，而Unix通常和硬件进行配套，比如Sun公司的Solaris。4、使用上Linux相对简单，Unix较为复杂。5、Linux也有商业化的版本，比如RedHat、SuSe、红旗等。Linux的目录结构：linu

大数据自学之hive通关宝典秘籍超详细的练习过程，赶紧收藏吧！》》》》》》》》持续跟新中现有这样几张表及对应数据，请建好表并插入数据Student(Sid,Sname,Sage,Ssex)学生表Sid：学号Sname：学生姓名Sbirth：学生生日Ssex：学生性别Course(Cid,Cname,T#)课程表Cid：课程编号Cname：课程名称Tid：教师编号SC(Sid,Cid,score)成绩表Sid：学号Cid：课程编号score：成绩Teacher(Tid,Tn

Hadoop的环境变量的配置1.进入系统变量，右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME2.在系统变量path 里面 添加 %HADOOP_HOME%\bin;3.测试：打开命令行cmd ,在任意路径下输入hadoop命令，返回一下结果即配置正确修改hadoop配置文件1.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”下的core-site.xm

大数据自学——之Hadoop集群搭建分布式安装小白超详细安装教程小蜡笔的安装工具：VMwara(以管理员身份运行哦)、Xshell、Xftp**一、准备工作：***1.虚拟机安装三台linux 本次测试是 Centos 6.5，(三台虚拟机的系统时间保持一致)      安装第一台虚拟机，并将该虚拟机默认设为主节点，小蜡笔命名为:master(1)*配置主机ip(2)*修改主机名命令： vim /etc/sysconfig/n.

大数据自学之Linux虚拟机Centos下的Hive1.2.1安装MySQL5.1.73-1安装小白学习超详细安装教程小新用的工具：VMware 、CtenOS6.5、Xshell、Xftp（这里是小新自学时用的软件哦！不是必要的哦，可以根据自己喜爱选择其他软件。）一、 MySQL的安装1、查看mysql的依赖rpm -qa | grep mysql2、删除mysql的依赖rpm -e --nodeps ‘rpm -qa | grep mysql‘ 或者rpm -e --node.