![](https://img-blog.csdnimg.cn/fdcb17e074ce43f5b28f4fe8e1193c31.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 84
学习Hadoop的积累
跳舞的皮埃尔
这个作者很懒,什么都没留下…
展开
-
Windows 环境下 Docker 安装伪分布式 Hadoop
将时区文件链接到本地时间文件上,以便系统能够正确地显示当前时间,防止系统重启后时区改变。输入下面命令可以看到时间和咱们时间不一样,需要同步一下不然以后可能会遇到一些问题。设置 ssh 开机自启,找到并打开文件/root/.bashrc。配置容器内的 root 用户密码,该密码可用于远程登录。我这里选用阿里源,按 esc 键再 :wq 保存退出。退出当前容器,然后我们可以保存镜像,以备以后的使用。删除其中全部内容,复制下面的所有内容粘贴上去。到这里咱们前期准备工作差不多完成了,原创 2023-07-04 11:22:34 · 1487 阅读 · 1 评论 -
HDFS 基本 shell 操作
HDFS 基本 shell 操作原创 2022-11-15 17:16:25 · 6809 阅读 · 0 评论 -
HBase 和 Hive 区别和现实运用
Hive 本身不存储和计算数据,它完全依赖于 HDFS 和 MapReduce,Hive 需要用到 HDFS 存储文件,需要用到 MapReduce 计算框架,而 MapReduce 处理数据是基于。,主要是让开发人员能够通过 SQL 来计算和处理 HDFS 上的结构化数据,适用于离线的批量数据计算。Hbase 是 Hadoop database 的简称,也就是基于 Hadoop 数据库,是一种 NoSQL 数据库,主要适用于海量明细数据(十亿、百亿)的随机实时。,两者是协作关系,一般是配合使用。原创 2022-10-04 09:57:33 · 1463 阅读 · 0 评论 -
数据库和数据仓库联系和区别
数据库和数据仓库联系和区别1、前言2、来源3、用途4、特性不同4.1 设计4.2 优化4.3 数据量1、前言不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 数据库 针对(OLTP)联机事务处理,主要应用与业务处理。而 数据仓库 针对(OLAP)联机分析处理,主要为决策服务。数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较差的数据的剔除、格式转换,最终按照一种合理的建模方式来完成源数据组织形式的转变,以更好的支持到前端的可视化分析原创 2022-05-11 22:11:54 · 2936 阅读 · 0 评论 -
Hadoop启动时,没有启动DataNode
Hadoop启动时,没有启动DataNode1、起缘2、原因3、解决办法3.1 删除 dfs 文件夹(dfs文件夹中没有重要的数据)3.2 复制 clusterID(dfs文件夹中有着重要的数据)4、总结1、起缘有时候Hadoop没关闭就格式化NameNode,经常会出现没有启动 DataNode 的情况2、原因当我们使用 hadoop namenode -format 格式化 NameNode 时,会在 NameNode 数据文件夹(这个文件夹为自己配置文件中 dfs.name.dir 的路径)原创 2022-05-08 15:15:27 · 5532 阅读 · 2 评论 -
VMware中ZooKeeper的伪分布式安装+配置+启动方法(Ubuntu18.04)
VMware中ZooKeeper的伪分布式安装方法(Ubuntu18.04)1、安装1.1 创建目录结构1.2 解压压缩包2、分配myid3、创建不同节点配置文件4、修改配置文件内容5、启动zookeeper6、查看进程7、验证,查看节点的leader和follower环境: VMware Workstation 16 Pro、Ubuntu18.04、java version “1.8.0_301”、Hadoop 3.1.31、安装1.1 创建目录结构在 /usr/local 创建 zookeepe原创 2022-05-07 14:40:39 · 1728 阅读 · 0 评论 -
Hive 基本操作
Hive 基本操作环境:VMware® Workstation 16 Pro、Ubuntu18.4、Hadoop伪分布式HiveQL 是 Hive 的查询请言,和 SQL 比较类似,对 Hive 的操作都是通过编写 HiveQL 语句来实现的。接下来介绍一下 Hive 中常用的几个基本操作。1、create:创建数据库、表、视图1.1 创建数据库(1) 创建数据库 hive:hive> create database hive;(2)创建数据库 hive,因为 hive 已经存在,所原创 2022-05-07 12:02:19 · 2874 阅读 · 7 评论 -
Hive 标识符列表及保留方法
Hive 标识符列表及保留方法1、标识符列表2、保留标识符方法1、标识符列表Hive 有一些保留的关键字,我们在执行一些语句时,不能将这些关键字作为标识符(Identifier),比如建表语句的 表名 或者 字段名,以下我们具体看看什么是 Hive 中的 标识符。官方标识符列表:入口2、保留标识符方法如果你非要使用“保留的关键字”作为标识符,官网也给出了建议对标识符使用倒引号(backtick);set hive.support.sql11.reserved.keywords=false原创 2022-05-06 18:43:05 · 1149 阅读 · 0 评论 -
Ubuntu下搭建伪分布式从0开始安装Hive详细教程(从JDK安装、Hadoop搭建开始)
Ubuntu下搭建伪分布式从0开始安装Hive详细教程(从JDK安装、Hadoop搭建开始)原创 2022-05-01 01:23:46 · 7987 阅读 · 2 评论 -
Hadoop集群搭建(超级超级详细)
Hadoop集群搭建(超级超级详细)原创 2022-04-28 10:39:40 · 37634 阅读 · 14 评论 -
HBase的安装(单机版)
HBase的安装(单机版)原创 2022-04-29 10:50:59 · 4328 阅读 · 2 评论 -
Hadoop之HDFS概述
Hadoop-HDFS概述1、出现背景2、HDFS定义3、优缺点3.1 优点3.2 缺点4、HDFS组成架构4.1 NameNode(nn)4.2 DataNode(dn)4.3 Client4.4 Secondary NameNode(2nn)5、面试重点5.1 HDFS默认数据块得大小是多少?为什么?5.2 为什么HDFS不支持存储小文件5.3 为什么块的大小不能设置太小,也不能设置太大5.4 说说hdfs的文件上传的流程5.5 我们在上传文件的时候如何namenode选取的datanode存储副本?有原创 2022-05-07 00:37:59 · 828 阅读 · 0 评论