自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 HIVE四种排序order by、sort by、distribute by sort by、cluster by及随机抽取数据的方法

order by只会启用一个reduce所以比较耗时,因此order by 是全局的。

2023-09-23 16:46:50 817 1

原创 Hive建表、常用语法、遇到的问题总结

1、字符串:string 对长度没有限制INT :4字节带符号整数,取值范围-2,147,483,648 to 2,147,483,647BIGINT:8字节带符号整数,取值范围-9,223,372,036,854,775,808 to 9,223,372,036,854,775,807FLOAT:4字节单精度浮点数DOUBLE:8字节双精度浮点数DECIMAL:17字节,如DECIMAL(9,8)代表最多9位数字,后8位是小数。

2023-07-07 16:34:57 1469 2

原创 HADOOP-YARN介绍

向ResourceManager申请资源并和NodeManager协同工作来运行应用的各个任务,然后跟踪它们状态及监控各个任务的执行,遇到失败的任务还负责重启它。在Yarn框架中,RM只负责告诉AM哪些Containers可以用,AM还需要去找NM请求分配具体的Container。在NM注册到RM之后,它就会不间断的向RM发送heartbeat,如果RM有需要它执行的指令,就作为响应发送给它。Yarn平台的从节点,主要用于处理ResourceManager分配的任务,任务实际是在NM上执行的。

2023-06-29 17:52:53 134 1

原创 spark小文件合并

小文件合并

2023-01-10 16:53:19 1692

原创 基于python-flask制作的论坛

项目介绍首页: 首页导航栏首先是首页导航栏,当用户没有登录的时候首页导航栏会显示为这是用户没有登录的情况 最右边会有登录和注册的按钮。当用户点击注册时,会跳转到注册页面。需要用手机号进行注册,点击发送验证码的时候会出现倒计时,在一分钟之内完成注册内是手机验证码是有效的,要注册成功必须输入正确的短信验证码和图片验证码。点击立即注册即可完成用户的注册,之后会跳转到首页。首页导航条最右部分将会变成用户信息。当用户点击登录按钮时,将会跳转到登录页面。点击记住我会使cookie信息保留一个月,

2020-06-20 23:06:43 2202 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除