2020年09月_德塔饭堂

原创 2020.9.16hive基础

目录一、hive1.定义2.历史和版本：3.Hive的优势和特点4.Hive元数据管理5.Hive体系架构6.命令窗口模式7.进入交互模式二、hive命令1.创建数据库2.删除数据库2.加载文件（对所有表通用）3.库级操作4.表级操作(1)建表步骤：（2）创建带有分区的表（3）创建外表（4）创建表并分桶(2).查询:1.查看表2.查看表结构3.查看表中具体内容三、补充：一、hive1.定义基于Ha.

2020-09-16 23:07:07 453

原创 2020.915yarn基本结构和zookeeper基本结构

目录一、yarn基本结构1.YARN(Yet Another Resource Negotiator)核心思想：是将资源管理和任务的监控和调度分离2.YARN的基本架构核心组件三、YARN的工作机制四、yarn应用五.补充：六、Zookeeper1.简介：2.Zookeeper数据结构3.ZooKeeper客户端命令4.Zookeeper角色5.ZooKeeper选举机制6.总结：一、yarn基本结构1.YARN(Yet Another Resou

2020-09-15 19:15:41 176

原创 2020.9.14Hbase单机模式安装和hive的安装

目录一、HBASE安装和运行1.先将hbase解压2.进入conf目录分别修改两个文件3.最后配置环境变量4.先打开hadoop二、HIVE安装和运行1.解压2.在hive目录下建起一个目录3.配置环境变量4.修改和新建hive文件(1)cd hive/conf(2)增加三条路径：(3)vi hive-site.xml5.将hive的lib目录下6.在mysql里面创建一个hive数据库，退出后，初始化:7.运行hive：hive一、HBA

2020-09-15 19:10:26 144

原创 2020.9.10MapReduce原理及编程

目录1.MapReduce实现WordCount2.MapReduce原理概览：3.MAP端join4.reduce端jion5.补充:前景提要：打开idea，选择maven，搜索quickmaven内容：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001.

2020-09-15 19:02:54 145

原创 2020.9.9大数据概况及Hadoop概况和生态系统

一、Hadoop概述1.大数据的定义：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。2.大数据特征：4V特征：（1）Volume(大数据量)：90% 的数据是过去两年产生（2）Velocity(速度快)：数据增长速度快，时效性高（3）Variety(多样化)：数据种类和来源多样化 1`结构化数据、半结构化数据、非结构化数据（4）Value(价值密度低)：需挖掘获取数据价值固有特征：时效性、不可变性4.新老分布式计算比...

2020-09-10 10:44:31 216

原创 2020-09-07zookeeper的安装和集群时间同步

一、配置集群的时间同步：1.三台虚拟机同时安装ntp可以先查询是否安装ntprpm -qa | grep ntp若存在则： yum -y remove 文件名yum install -y ntp2.vi /etc/ntp.conf(三台虚拟机都需)添加内容restrict 当前ip地址 nomodify notrap nopeer noquery修改内容：restrict 192.168.183.1 mask 255.255.255.0 nomodify notrap

2020-09-07 17:36:01 175

原创 2020.9.7hadoop集群创建

1.克隆主机生成两个虚拟机2.分别给两个虚拟机改名hostnamectl set-hostname hadoop002hostnamectl set-hostname hadoop0033.三台机器互相添加互信主机：cat .ssh/id_rsa.pub > .ssh/authorized_keysssh-copy-id -i .ssh/id_rsa.pub -p22 root@hadoop002ssh-copy-id -i .ssh/id_rsa.pub -p22 r

2020-09-07 17:34:36 87

m0_49140390的博客