weixin_44999258的博客

Hive简介：Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。其本质是将hql转化成mapreduce在hadoop平台上执行Hive优缺点：优点：写法与sql类似，学习成本低；基于hadoop分布式平台，便于处理大数据缺点：成也分布式，败也分布式，其架构专为进行大数据分析，所以在处理小型数据量时，其效率反而不如oralce等传统关系型数据库..

在阿里云服务器上安装Hive首先需要下载安装包apache-hive-3.1.2-bin.tar.gz，下载链接可访问官网：http://archive.apache.org/dist/hive/hive-3.1.2/自行下载，并将其上传至linux服务器·，笔者是将其存放在了/root/software/Hive路径下在当前路径下将其解压tar -zxvf apache-hive-3.1.2-bin.tar.gz，并对解压后的文件进行重命名mv apache-hive-3.1.2-bin hive

查看所有数据库show databases;使用指定数据库use 数据库名称;查看所有表show tables;显示数据库信息desc database 数据库名称;显示数据库详细信息desc extended database 数据库名称;修改数据库的属性alter database 数据库名称 set dbproperties('createtime'='20220204');删除空数据库drop database if exists 数据库名称;强制删除非空数据库drop databas

已经在linux云服务器上搭建了hadoop和hive，现在通过hive往hdfs写入数据，并通过9870端口查看数据确认hadoop中相关进程已经开启，再开启hive，当前进程可通过jps命令查看[root@cloudmyc tmp]# jps4689 Jps2561 NodeManager2167 SecondaryNameNode1930 DataNode2428 ResourceManager1791 NameNode进入hive命令行后，新建表create table t

因为在阿里云租了一台linux服务器，所以打算在上面搞点东西，这次先安装hadoop平台。

在阿里云linux服务器上搭建了hadoop的Pseudo-Distributed Operation，可通过两种方式登录http://localhost:9870/，从linux云服务器登录：此处若想直观看到可视化网页，需要先配置linux的可视化图形界面https://help.aliyun.com/knowledge_detail/41227.html?spm=从windows登录...

需要更改路径/usr/hadoop/hadoop-3.3.1/etc/hadoop

之前是在linux云服务器上的hadoop本地模式实现了wordcount案例：linux云服务器实现wordcount案例这次改用hadoop的集群模式实现此案例。首先需要确保已完成了Pseudo-Distributed Operation伪分布式搭建，如果没有完成，可参考linux云服务器实现hadoop的Pseudo-Distributed Operation伪分布式搭建搭建完成，并执行sbin/start-dfs.sh后，通过jps命令可查看已存在如下进程31254 DataNode3

在搭建Pseudo-Distributed Operation伪分布式架构之前，建议先参考基于linux服务器搭建hadoop平台，完成hadoop的安装。搭建伪分布式结构可分以下几步修改etc/hadoop/core-site.xml文件内容，在文件末尾增加如下代码：<!--指定HDFS中NameNode的地址--><configuration> <property> <name>fs.defaultFS</name

在hadoop安装目录下创建wcinput文件夹mkdir input在input文件夹下创建文件touch wc.input在 wc.input文件内添加文本内容vi wc.inputhadoop yarnhadoop mapreduceatguiguatguigu在hadoop安装目录下执行wordcount程序hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinpu.