- 博客(8)
- 收藏
- 关注
RSS订阅原创 hive函数处理中包含英文分号时语句报错：cannot recognize input near ‘＜EOF＞‘ ‘＜EOF＞‘ ‘＜EOF＞‘
这是因为在hive中英文分号;无法识别和转义，要使用ASCII码来代替英文分号；使用 \073 表示。
2024-08-13 14:36:38
266
原创 Hive string、varchar、char3种字符串类型比较
hive官网是这样介绍的：翻译：String字面量可以用单引号(')或双引号(")来表示。Hive在字符串内部使用类似C语言的转义规则。Varchar类型在创建时会带有一个长度说明符（介于1-65535之间），该说明符定义了字符字符串中允许的最大字符数量。如果试图转换或分配给varchar值的字符串长度超过了长度说明符，字符串将会被静默截断。字符长度由字符字符串所包含的代码点数确定。和String一样，varchar尾部的空格也会作为字符串的一部分，影响字符串的比较。非泛型的UDF（用户自定义函数）不
2024-08-09 14:44:15
547
原创 learn git branching练习rebase branch
不知道git rebase main bugFix 和 git rebase c2 bugFix的区别是什么，得到的结果一样。按指定顺序提交，第一步将c3移动到c2上，但是使用下面代码无法把bugFix也带上。下面接着使用下列代码，成功提交了，结果如图6，但是提示标准答案使用的代码更少。rebase 的时候上面的记录也会被带上，所以这时候只需要。最后把main拿下来，下面两种都可以。
2024-03-18 17:36:50
388
转载 Hive排序 sort by / distribute by / cluster by
distribute bysort by(sort by limit n,limit将运行两次，一次reducer内排序limit n，一次从每个reducer里取n条放在一起进行limit)distribute by x 将x按照hash取模分配到不同的reducer里面，sort by y在reducer里面按照y排序如下图，三个框代表3个reducer（distribute by），里面按照scores进行了排序(sort by)（图片有误，应是取模）cluster bycluster
2024-02-05 20:03:11
85
1
原创 Flink
前面说过有状态计算其实就是需要考虑历史数据而历史数据需要搞个地方存储起来Flink为了方便不同分类的State的存储和管理,提供了如下的API/数据结构来存储StateKeyed State 通过 RuntimeContext访问，这需要 Operator 是一个RichFunction。保存Keyed state的数据结构:即类型为T的单值状态。这个状态与对应的key绑定，是最简单的状态了。
2023-12-06 16:27:56
1796
1
原创 python pyinstaller打包时 -F 参数加与不加的区别
【代码】python pyinstaller打包时 -F 参数加与不加的区别。
2023-10-11 15:17:43
254
原创 R语言SMOTE函数在哪个包及用法（适用于想从DMwR2包中找到该函数的）
安装包SMOTE函数自DMwR包更新后，已不在DMwR2包中。 SMOTE函数现在在smotefamily包中。在安装smotefamily包后导入即可使用install.packages("smotefamily")library("smotefamily") 用法 而且SMOTE函数的参数也已更新，之前在DMwR中可能是这样newData<-SMOTE(y~.,data=Data...
2021-11-17 14:56:37
9698
4
原创 R语言安装DMwR报错解决方法
如果代码是install.packages("DMwR")那可能是安装包的版本问题，改为install.packages("DMwR2")试一下。导入的时候也是library("DMwR2")改错具体过程： 一开始以为是RStudio的版本不够新，更新完Rstudio发现还是不行；又下载了Rtools，还是报错安装DMwR代码如下install.packages("DMwR")报错显示Warning in install.packages :...
2021-11-15 20:45:37
6407
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人