
Hive
我就是全世界
数学专业出身,深耕于人工智能领域,具备丰富的跨领域项目经验。精通Web网站开发、移动端API构建、桌面程序设计,尤其在大数据处理(Hadoop)、前端React技术、FastDFS资源服务器、数据库管理、系统运维、Scrapy分布式爬虫、数据挖掘、AI视觉、边缘计算、嵌入式开发及鸿蒙开发等方面表现卓越。在人工智能的浪潮中,我不仅是一名技术的践行者,更是一位心得的分享者,致力于将前沿科技与实际应用相结合,推动智能时代的创新与发展。
展开
-
Hive表字段不区分大小写,统一为小写。采取外部映射表时,需要注意。
这里写自定义目录标题Hive表字段不区分大小写表字段,表名都不区分。本来挺好的,但是采取外部映射表时就麻烦了,对不上。我这使用的是hive外部表直接映射mongodb的bson文件。mongodb的字段是大写,但是我把表建好以后,所有字段中有大写字母的值全是空。这是因为hive用全小写映射bson的字段,匹配不上,自然就为空。所以在建表语句后面一定要加上字段mapping,比如下面这个例子:Hi...原创 2020-01-10 18:56:47 · 10730 阅读 · 5 评论 -
hive编写自定义UDF,实现md5函数
用的hive版本是cdh 1.1.0的,业务需要sqoop时做更新操作,所以hive表得生成一个唯一字段,选择用md5,看了其他人的很多关于编写UDF函数的文章,感觉说的很不明确,里面有几个重点在这里提一下:1. 打包java时需要两个文件,我用的hadoop-cdh版的,所以这两个文件分别是$HADOOP_HOME/share/hadoop/mapreduce1/hadoop...原创 2018-09-14 11:05:52 · 3010 阅读 · 0 评论