- 博客(6)
- 收藏
- 关注
RSS订阅原创 hive数据倾斜
产生数据倾斜有三种原因表连接:如小表连接大表,大表连接大表数据类型不同关联产生数据倾斜空值产生数据倾斜解决方法:表连接可以用map join 解决倾斜问题数据类型不同可以转换数据类型 可以全部转换成string类型的空值产生的数据类型可以用一个数字来代替空值可参考:https://blog.csdn.net/weixin_28851191/article/details/111974379...
2022-03-15 09:58:36
2499
原创 大数据面试题---kafka部分(一)
kafka 设计时是什么样子的kafka 将消息以topic为单位进行归纳将向kafka发布消息的程序称为生产者kafka将订阅消息的程序称为消费者kafka将以集群的的方式运行,由一个或多个服务器组成,每一个服务器叫做broker生产者通过网咯将消息发送到kafka集群，集群将向消费者提供消息数据传输的事务定义有哪三种最多一次：消息不会被重复发送，最多被传输一次，也有可能一次都不被传输最少一次：消息不会被漏发送,最少被传输一次,但也有可能被重复传输精确的一次:不会漏传输也不会重复传
2022-03-14 10:22:35
2268
原创 MapReduce笔记整理(概念部分结)
MapReduce简介定义MapReduce 是一个分布式的运算程序的编程框架,基于hadoop的数据分析应用”的核心框架。Mapreduce 核心功能是将用户写的逻辑代码和默认组件整合成完整的分布式运算程序发布在hadoop集群上边1.2 优缺点:MapReduce 易于编程它...
2021-12-19 20:24:47
136
原创 Redis常用的基本命令
Redis简介Redis是关系型数据库他的存储方式是键值对存储的所以他的存储方式是先设个键在存个值进去然后根据键来进行取值基本命令set key value //用来存储数据get key //用来取出数据库里面存的数据//演示set name zhangsanget namedel key //用来删除存在的键就相当于把这条数据给删除掉// 删除掉张三这条数据dal namerename key newkey //用来修改键的名称//把键name 修改成name2rena
2021-12-07 09:11:13
362
原创 Linux文件夹和文件操作命令
创建文件和文件夹mkdir ./temp //在当前位置创建空文件夹mkdir ./date1/date2 -p //在当前位置创建多级文件夹toch ./file.txt //创建空文件夹vi file.txt //创建文件并且进入编辑模式cat file.txt //查看文件内容向文件中写入内容echo “hello”>file.txt //创建文件并输入并且把hello写入到该文件中echo “hello”>>file.txt//把hello..
2021-11-28 20:31:47
948
原创 Linux最简单好用的安装方式
介绍:如果我们要在Windows上边运行Linux必须要安装虚拟机(VMware workstation15Pro)这个软件首先我们来看这个虚拟机的安装安装:首先我们要下载:VMware workstation15Pro这个软件链接如下:https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html推荐下载15Pro这个版本因为这个比较稳定点然后找到下载的文件右击管理员运行然后点下一步,一直
2021-11-25 11:44:41
747
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人