大数据学习：hive的DQL和DML操作

最新推荐文章于 2024-11-06 17:41:23 发布
最新推荐文章于 2024-11-06 17:41:23 发布
阅读量226 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 学习 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liufang_imei/article/details/132533102
版权

hive的DQL和DML操作

1. Hive的分桶表

1.1 分桶表原理

  • 分桶是相对分区进行更细粒度的划分

    • Hive表或分区表可进一步的分桶

    • 分桶将整个数据内容按照某列取hash值，对桶的个数取模的方式决定该条记录存放在哪个桶当中；具有相同hash值的数据进入到同一个文件中

    • 比如按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。

      • 取模结果为0的数据记录存放到一个文件

      • 取模结果为1的数据记录存放到一个文件

      • 取模结果为2的数据记录存放到一个文件

1.2 作用

  • 1、取样sampling更高效。没有分桶的话需要扫描整个数据集。

  • 2、提升某些查询操作效率，例如map side join

1.3 案例演示：创建分桶表

  • 在创建分桶表之前要执行的命令

  • set hive.enforce.bucketing=true; 开启对分桶表的支持

  • set mapreduce.job.reduces=4; 设置与桶相同的reduce个数（默认只有一个reduce）

  • 进入hive客户端然后执行以下命令

use myhive;
set hive.enforce.bucketing=true; 
set mapreduce.job.reduces=4;  

-- 创建分桶表
create table myhive.user_buckets_demo(id int, name string)
clustered by(id) 
into 4 buckets 
row format delimited fields terminated by '\t';

-- 创建普通表
create table user_demo(id int, name string)
row format delimited fields terminated by '\t';
  • 准备数据文件 buckets.txt
#在linux当中执行以下命令
cd /opt/install/hivedatas/
vim user_bucket.txt

1	anzhulababy1
2	anzhulababy2
3	anzhulababy3
4	anzhulababy4
5	anzhulababy5
6	anzhulababy6
7	anzhulababy7
8	anzhulababy8
9	anzhulababy9
10	anzhulababy10
  • 加载数据到普通表 user_demo 中
load data local inpath '/opt/install/hivedatas/user_bucket.txt'  overwrite into table user_demo;
  • 4、加载数据到桶表user_buckets_demo中
insert into table user_buckets_demo select * from user_demo;
  • hdfs上查看表的数据目录

  • 抽样查询桶表的数据
    • 官网地址
    • tablesample抽样语句语法：tablesample(bucket x out of y)
      • x表示从第几个桶开始做数据采样
    • y与进行采样的桶数的个数、每个采样桶的采样比例有关；
  select * from user_buckets_demo ;

需要采样的总桶数 = 分桶数/y = 结果ret
分两种情况

情况一：ret>1
需要采样的总桶数 = 分桶数/y = 4/2 = 2个
即从2个桶进行数据的采样
x = 1 先从第1个桶中取出数据
x+y = 1+2 = 3 再从第3个桶中取出数据

情况二：ret<1
假设还是此表user_buckets_demo，分桶数是4
x=1
y=8
∴需要采样的总桶数 = 分桶数/y = 4/8 = 0.5
ret<1，只能从1个桶进行数据的采样
x = 1 从第1个桶中取出0.5一半的数据

2. Hive数据导入

2.1 直接向表中插入数据

hive (myhive)> create table score3 like score;
hive (myhive)> insert into table score3 partition(month ='201807') values ('001','002','100');

2.2 通过load加载数据

  • 语法：
 hive> load data [local] inpath 'dataPath' [overwrite] into table student [partition (partcol1=val1,…)];
  • 通过load方式加载数据
hive (myhive)> load data local inpath '/opt/install/hivedatas/score.csv' overwrite into table score partition(month='201806');

2.3 通过查询加载数据

INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
  • 例子
hive (myhive)> create table score5 like score;
hive (myhive)> insert overwrite table score5 partition(month = '201806') select s_id,c_id,s_score from score;

2.4 查询语句中创建表并加载数据（as select）

  • 将查询的结果保存到一张表当中去
hive (myhive)> create table score6 as select * from score;

2.5 创建表时指定location

  • 创建表，并指定在hdfs上的位置
hive (myhive)> create external table score7 (s_id string,c_id string,s_score int) row format delimited fields terminated by '\t' location '/myscore7';
  • 上传数据到hdfs上，我们也可以直接在hive客户端下面通过dfs命令来进行操作hdfs的数据
hive (myhive)> dfs -mkdir -p /myscore7;
hive (myhive)> dfs -put /opt/install/hivedatas/score.csv /myscore7;
  • 查询数据
hive (myhive)> select * from score7;

2.6 export导出与import 导入 hive表数据（内部表操作）

hive (myhive)> create table teacher2 like teacher;
-- 导出到hdfs路径
hive (myhive)> export table teacher to  '/opt/teacher';
hive (myhive)> import table teacher2 from '/opt/teacher';

3. Hive数据导出

3.1 insert 导出

INSERT OVERWRITE [LOCAL] DIRECTORY directory1
  [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
  SELECT ... FROM ...
  • 将查询的结果导出到本地
insert overwrite local directory '/opt/install/hivedatas/stu' select * from stu;
  • 将查询的结果格式化导出到本地
insert overwrite local directory '/opt/install/hivedatas/stu2' row format delimited fields terminated by ',' select * from stu;
  • 将查询的结果导出到HDFS上(没有local)
insert overwrite directory '/opt/hivedatas/stu' row format delimited fields terminated by  ','  select * from stu;

3.2 Hive Shell 命令导出

  • 基本语法：

    • hive -e “sql语句” > file
    • hive -f sql文件 > file
    • 在linux命令行中，运行如下命令；导出myhive.stu表的数据到本地磁盘文件/opt/install/hivedatas/student1.txt
hive -e 'select * from myhive.stu;' > /opt/install/hivedatas/student1.txt

3.3 export导出到HDFS上

export table  myhive.stu to '/opt/install/hivedatas/stuexport';

4. Hive的静态分区和动态分区

4.1 静态分区

  • 表的分区字段的值需要开发人员手动给定

  • 创建分区表

use myhive;
create table order_partition(
order_number string,
order_price  double,
order_time string
)
partitioned BY(month string)
row format delimited fields terminated by '\t';
  • 准备数据
cd /opt/install/hivedatas
vim order.txt 

10001	100	2019-03-02
10002	200	2019-03-02
10003	300	2019-03-02
10004	400	2019-03-03
10005	500	2019-03-03
10006	600	2019-03-03
10007	700	2019-03-04
10008	800	2019-03-04
10009	900	2019-03-04
  • 加载数据到分区表
load data local inpath '/opt/install/hivedatas/order.txt' overwrite into table order_partition partition(month='2019-03');
  • 4、查询结果数据
select * from order_partition where month='2019-03';
结果为：
  
10001   100.0   2019-03-02      2019-03
10002   200.0   2019-03-02      2019-03
10003   300.0   2019-03-02      2019-03
10004   400.0   2019-03-03      2019-03
10005   500.0   2019-03-03      2019-03
10006   600.0   2019-03-03      2019-03
10007   700.0   2019-03-04      2019-03
10008   800.0   2019-03-04      2019-03
10009   900.0   2019-03-04      2019-03

4.2 动态分区

  • 按照需求实现把数据自动导入到表的相应分区中，不需要手动指定分区字段的值

  • 需求：根据分区字段不同的值，自动将数据导入到分区表不同的分区中

  • 创建表

--创建普通表
create table t_order(
    order_number string,
    order_price  double, 
    order_time   string
)row format delimited fields terminated by '\t';

--创建目标分区表
create table order_dynamic_partition(
    order_number string,
    order_price  double    
)partitioned BY(order_time string)
row format delimited fields terminated by '\t';
  • 准备数据
cd /opt/install/hivedatas
vim order_partition.txt

10001	100	2019-03-02 
10002	200	2019-03-02
10003	300	2019-03-02
10004	400	2019-03-03
10005	500	2019-03-03
10006	600	2019-03-03
10007	700	2019-03-04
10008	800	2019-03-04
10009	900	2019-03-04
  • 向普通表t_order加载数据
load data local inpath '/opt/install/hivedatas/order_partition.txt' overwrite into table t_order;
  • 动态加载数据到分区表中
-- 要想进行动态分区，需要设置参数
-- 开启动态分区功能
hive> set hive.exec.dynamic.partition=true; 
-- 设置hive为非严格模式
hive> set hive.exec.dynamic.partition.mode=nonstrict; 
-- 动态分区是通过位置来对应分区值的。原始表select出来的值和输出partition的值的关系仅仅是通过位置来确定的，和名字并没有关系，比如此例中的order_time
hive> insert into table order_dynamic_partition partition(order_time) select order_number, order_price, order_time from t_order;
  • 查看分区
hive> show partitions order_dynamic_partition;

扩展：混用动态分区、静态分区

--创建目标分区表
create table order_dynamic_partition1(
    order_number string,
    order_price  double    
)partitioned BY(year string, month string, day string)
row format delimited fields terminated by '\t';

hive> insert into table order_dynamic_partition1 partition(year='2019', month='03', day) select order_number, order_price, day(order_time) from t_order where year(order_time)`'2019' and month(order_time)`'03';

5. Hive的查询语法

5.1 基本查询

  • 注意
    • SQL 语言大小写不敏感
    • SQL 可以写在一行或者多行
    • 关键字不能被缩写也不能分行
    • 各子句一般要分行写
    • 使用缩进提高语句的可读性
5.1.1 查询全表和特定列
  • 全表查询
select * from stu;
  • 选择特定列查询
select id,name from stu;
5.1.2 列起别名

  • 重命名一个列

    • 紧跟列名，也可以在列名和别名之间加入关键字 ‘as’

  • 案例实操

select id,name as stuName from stu;
5.1.3 常用函数
  • 求总行数（count）
 select count(*) cnt from score;
  • 求分数的最大值（max）
select max(s_score) from score;
  • 求分数的最小值（min）
select min(s_score) from score;
  • 求分数的总和（sum）
select sum(s_score) from score;
  • 求分数的平均值（avg）
select avg(s_score) from score;
5.1.4 limit 语句
  • imit子句用于限制返回的行数。
 select  * from score limit 5;
5.1.5 where 语句
  • 使用 where 子句，将不满足条件的行过滤掉
  • where 子句紧随from子句
  • 案例实操
select * from score where s_score > 60;
5.1.6 算术运算符
运算符描述
A+BA和B 相加
A-BA减去B
A*BA和B 相乘
A/BA除以B
A%BA对B取余
A&BA和B按位取与
A|BA和B按位取或
A^BA和B按位取异或
~AA按位取反
5.1.7 比较运算符
操作符支持的数据类型描述
A=B基本数据类型如果A等于B则返回true，反之返回false
A<=>B基本数据类型如果A和B都为NULL，则返回true，其他的和等号（=）操作符的结果一致，如果任一为NULL则结果为NULL
A<>B, A!=B基本数据类型A或者B为NULL则返回NULL；如果A不等于B，则返回true，反之返回false
A<B基本数据类型A或者B为NULL，则返回NULL；如果A小于B，则返回true，反之返回false
A<=B基本数据类型A或者B为NULL，则返回NULL；如果A小于等于B，则返回true，反之返回false
A>B基本数据类型A或者B为NULL，则返回NULL；如果A大于B，则返回true，反之返回false
A>=B基本数据类型A或者B为NULL，则返回NULL；如果A大于等于B，则返回true，反之返回false
A [NOT] BETWEEN B AND C基本数据类型如果A，B或者C任一为NULL，则结果为NULL。如果A的值大于等于B而且小于或等于C，则结果为true，反之为false。如果使用NOT关键字则可达到相反的效果。
A IS NULL所有数据类型如果A等于NULL，则返回true，反之返回false
A IS NOT NULL所有数据类型如果A不等于NULL，则返回true，反之返回false
IN(数值1, 数值2)所有数据类型使用 IN运算显示列表中的值
A [NOT] LIKE BSTRING 类型B是一个SQL下的简单正则表达式，如果A与其匹配的话，则返回true；反之返回false。B的表达式说明如下：‘x%’表示A必须以字母‘x’开头，‘%x’表示A必须以字母’x’结尾，而‘%x%’表示A包含有字母’x’,可以位于开头，结尾或者字符串中间。如果使用NOT关键字则可达到相反的效果。like不是正则，而是通配符
A RLIKE B, A REGEXP BSTRING 类型B是一个正则表达式，如果A与其匹配，则返回true；反之返回false。匹配使用的是JDK中的正则表达式接口实现的，因为正则也依据其中的规则。例如，正则表达式必须和整个字符串A相匹配，而不是只需与其字符串匹配。
5.1.8 逻辑运算符
操作符操作描述
A AND B逻辑并如果A和B都是true则为true，否则false
A OR B逻辑或如果A或B或两者都是true则为true，否则false
NOT A逻辑否如果A为false则为true,否则false

5.2 分组

5.2.1 Group By 语句

  • Group By语句通常会和聚合函数一起使用，按照一个或者多个列对结果进行分组，然后对每个组执行聚合操作。

  • Group By时select后的字段要么是分组字段、要么是聚合函数

  • 查询非分组字段会报错

  • 案例实操：

    • 计算每个学生的平均分数
    select s_id, avg(s_score) from score group by s_id;
    • 计算每个学生最高的分数
    select s_id, max(s_score) from score group by s_id;
5.2.2 Having语句

  • having 与 where 不同点

    • where针对表中的列发挥作用，查询数据；having针对查询结果中的列发挥作用，筛选数据
    • where后面不能写聚合函数，而having后面可以使用聚合函数
    • having只用于group by分组统计语句

  • 案例实操

    • 求每个学生的平均分数
    select s_id, avg(s_score) from score group by s_id;
    • 求每个学生平均分数大于60的人
    select s_id, avg(s_score) as avgScore from score group by s_id having avgScore > 60;
等价于
select s_id, avg(s_score) as avgScore from score group by s_id having avg(s_score) > 60;

5.3 join语句

5.3.1 等值 join

  • Hive支持通常的SQL JOIN语句，但是只支持等值连接，不支持非等值连接。

  • 案例实操

    • 根据学生和成绩表，查询学生姓名对应的成绩
    select * from stu left join score on stu.id = score.s_id;
5.3.2 表的别名

  • 好处

    • 使用别名可以简化查询。
    • 使用表名前缀可以提高执行效率。

  • 案例实操：合并老师与课程表

    -- hive当中创建course表并加载数据
create table course (c_id string, c_name string, t_id string) 
row format delimited fields terminated by '\t';

load data local inpath '/opt/install/hivedatas/course.csv' overwrite into table course;

select * from teacher t join course c on t.t_id = c.t_id;
5.3.3 内连接 inner join

  • 内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

    • join默认是inner join

  • 案例实操

    select * from teacher t inner join course c  on t.t_id = c.t_id;
5.3.4 左外连接 left outer join

  • 左外连接：

    • join操作符左边表中符合where子句的所有记录将会被返回。
    • 右边表的指定字段没有符合条件的值的话，那么就使用null值替代。

  • 案例实操：查询老师对应的课程

     select * from teacher t left outer join course c on t.t_id = c.t_id;
5.3.5 右外连接 right outer join

  • 右外连接：

    • join操作符右边表中符合where子句的所有记录将会被返回。
    • 左边表的指定字段没有符合条件的值的话，那么就使用null值替代。

  • 案例实操

     select * from teacher t right outer join course c on t.t_id = c.t_id;
5.3.6 满外连接 full outer join

  • 满外连接：

    • 将会返回所有表中符合where语句条件的所有记录。
    • 如果任一表的指定字段没有符合条件的值的话，那么就使用null值替代。

  • 案例实操

    select * from teacher t full outer join course c on t.t_id = c.t_id;
5.3.7 多表连接

  • 多个表使用join进行连接

  • 注意：连接 n个表，至少需要n-1个连接条件。例如：连接三个表，至少需要两个连接条件。

  • 案例实操

    • 多表连接查询，查询老师对应的课程，以及对应的分数，对应的学生
    select * from teacher t 
left join course c on t.t_id = c.t_id 
left join score s on c.c_id = s.c_id 
left join stu on s.s_id = stu.id;

5.4 排序

5.4.1 order by 全局排序

  • 全局排序，只有一个reduce

  • 使用 ORDER BY 子句排序

    • asc ( ascend) 升序 (默认)
    • desc (descend) 降序

  • order by 子句在select语句的结尾

  • 案例实操

    • 查询学生的成绩，并按照分数降序排列
    select * from score s order by s_score desc ;
5.4.2 按照别名排序

  • 按照学生分数的平均值排序

    select s_id, avg(s_score) avgscore from score group by s_id order by avgscore desc;
5.4.3 每个MapReduce内部排序（Sort By）局部排序

  • sort by：每个reducer内部有序排序（局部有序），对全局结果集来说并非全局有序。

  • 设置reduce个数

    set mapreduce.job.reduces=3;

  • 查看reduce的个数

    set mapreduce.job.reduces;

  • 查询成绩按照成绩降序排列

    select * from score s sort by s.s_score;

  • 将查询结果导入到文件中（按照成绩降序排列）

    insert overwrite local directory '/opt/install/hivedatas/sort' select * from score s sort by s.s_score;
5.4.4 distribute by 分区排序

  • distribute by：

    • 类似MR中partition，采集hash算法，在map端将查询的结果中hash值相同的结果分发到对应的reduce文件中。
    • 结合sort by使用。

  • 注意

    • Hive要求 distribute by 语句要写在 sort by 语句之前。

  • 案例实操

    • 先按照学生 sid 进行分区，再按照学生成绩进行排序

    • 设置reduce的个数

    set mapreduce.job.reduces=3;
    • 通过distribute by 进行数据的分区,，将不同的sid 划分到对应的reduce当中去
    insert overwrite local directory '/opt/install/hivedatas/distribute' select * from score distribute by s_id sort by s_score;
5.4.5 cluster by

  • 当distribute by和sort by字段相同时，可以使用cluster by方式代替

  • 除了distribute by 的功能外，还会对该字段进行排序，所以cluster by = distribute by + sort by

    --以下两种写法等价
insert overwrite local directory '/opt/install/hivedatas/distribute_sort' select * from score distribute by s_score sort by s_score;

insert overwrite local directory '/opt/install/hivedatas/cluster' select * from score  cluster by s_score;

6. 拓展点

  • 平时工作中，要多查看Hive官方文档

  • Hive可视化工具dbeaver

  • 总结

manylinux
关注
专栏目录
hive概述及HQL之DDL、DML、DQL 06
自律
08-19 866
一、Hive基本概念 1.1 Hive是什么 Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive基于Hadoop来完成工作。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，所提供的类SQL查询语言叫做HQL。 Hive的本质是一个翻译工具，将HQL语句转化为MapReduce程序在Haoop平台执行，Hive使用MapReduce完成数据计算，数据存储在Hdfs之上，所以可以认为Hive是Hadoop的一个客户端。 1.2
4.HiveSQL 数据操作、查询语言（DML、DQL）
hutc_Alan的博客
06-30 1036
Hive学习笔记4，自用
Hive学习——DDL&DML&DQL语句
雷神乐乐的博客
02-20 1788
Hive学习——DDL&DML语句
[Hive]一、大数据技术之Hive
weixin_44428807的博客
05-22 2450
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。 Hive的本质是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。 （1）Hive中每张表的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce（也可以配置为Spark或者Tez引擎） （3）执行程序运行在Yarn上（1）Hive客户端：CLI（command-line i
【大数据】一篇认识Hive
m0_46181896的博客
10-09 1434
文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和Mysql的区别三、Hive安装3.1、Metadata、metastore3.2、Hive的安装部署模式3.3、Hive的远程模式部署安装3.3.1、安装Hadoop3.3.2、安装MySQL3.3.3、安装Hive (==选择node1安装==)四
Hive架构及HQL操作之DDL、DQL、DML命令
大数据开发、JAVA开发、人工智能AI
03-29 660
Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将 结构化的数据文件 映射为一张表 (类似于RDBMS中的表)，并提供类SQL查询功能；Hive是由Facebook开源，用于解 决海量结构化日志的数据统计。 Hive本质是：将 SQL 转换为 MapReduce 的任务进行运算 底层由HDFS来提供数据存储 可以将Hive理解为一个：将 SQL 转换为 MapReduce 任务的工具 数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变 化的数据集合，
Hive之DQL操作
luoyepiaoxue2014的博客
11-25 1109
Hive系列第六章（实际是第七篇，就不改目录序号了，大家知道就行，后续的篇章类推即可）
大数据学习之Hive01
qq_54070501的博客
10-17 136
一.数据仓库 1.定义 英文名:Data Warehouse 简称DW 面向分析的存储系统,其特点有:面向主题,集成,不可修改,反映历史变化. 2.数据仓库和数据库的对比 主要联系:1.二者都是用来存储数据的 2.数据仓库是数据库的衍生及应用 3.二者存在数据交互,你中有我,我中有你 主要区别:1.数据库面向事务,数据仓库面向主题 ...
Hive SQL四大类:DQL、DML、DDL、DCL的概念与区别
第四维度
03-24 1447
DQL、DML、DDL、DCL的概念与区别 SQL(Structure Query Language)语言是数据库的核心语言。SQL是一个标准的数据库语言，是面向集合的描述性非过程化语言。它功能强，效率高，简单易学易维护二. SQL语言的分类SQL语言共分为四大类： 数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。1. 数据查询语言DQL数据查询语言DQL基本结...
网易杭研大数据实践：Apache Hive稳定性测试
01-26
由于线下测试环境的硬件资源通常远小于线上，因此在数据铺底和流量构造时需要特别考虑资源限制，适当调整SQL的类别比例，比如减少需要MapReduce执行的DML和DQL操作。 总结起来，Apache Hive的稳定性测试是大数据...
尚硅谷大数据视频_Hive视频教程
11-13
4. **HQL（Hive Query Language）**：学习Hive的SQL方言，包括DML（数据操纵语言）、DDL（数据定义语言）和DQL（数据查询语言），如CREATE TABLE、LOAD DATA、INSERT INTO、SELECT等命令。 5. **数据类型与表操作**...
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示（附SQL语句）
showswoller的博客
12-16 797
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示（附SQL语句）
大数据技术之Hive 第4章DDL数据定义
wzq18845280610的博客
12-23 278
第4章DDL数据定义序章4.1 创建数据库4.2 查询数据库4.2.1 显示数据库4.2.2 查看数据库详情4.3 修改数据库4.4 删除数据库4.5 创建表4.5.1 管理表2．案例实操4.5.2 外部表4.5.3 管理表与外部表的互相转换4.6 分区表4.6.2 分区表注意事项4.7 修改表4.7.1 重命名表4.7.2 增加、修改和删除表分区4.7.3 增加/修改/替换列信息4.8 删除表 序章 SQL语言共分为四大类： 数据查询语言DQL， select * from biao 数据操纵语言DML，
【零基础小白】 window环境下安装RabbitMQ
许苑向上
11-06 311
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 573
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
Flink SQL
qq_41081716的博客
11-05 276
以上步骤展示了如何使用 Flink SQL 从 Kafka 读取数据、进行聚合计算，并将结果分别写入 MySQL 和 HDFS。这是一个基本的流程，根据实际需求，可以调整表结构、连接器配置以及 SQL 查询以适应不同的应用场景。
大数据学习10之Hive高级
最新发布
qq_64407249的博客
11-06 1217
过程：创建Maven项目，导入依赖，创建方法类，并继承响应方法类实现方法类的方法生成jar包Hive导入自定义函数jar包重新加载函数。
使用 HuggingFace 提供的 Elasticsearch 托管交叉编码器进行重新排名
Elastic 中国社区官方博客
11-05 950
它是什么为什么要使用它如何创建推理 API 并将其连接到外部服务如何使用检索器查询进行重新排名什么是语义重新排名以及如何使用它？了解在搜索和 RAG 管道中使用语义重新排名的权衡使用检索器在 Elasticsearch 中进行语义重新排名本博客包含视频演示和入门所需的所有内容的概述。Elastic 文档 - 语义重新排名这个优秀的文档指南讨论了用例、编码器模型类型和 Elasticsearch 中的重新排名本博客和随附笔记本中的代码也将帮助你入门，但我们不会深入讨论是什么和为什么。
牛客网项目总结
qq_43539664的博客
11-04 294
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

manylinux

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值