大数据开发
文章平均质量分 61
关于实践过程中遇到的问题及解决过程记录
jqtree
这个作者很懒,什么都没留下…
展开
-
创建UDF函数记录(java)
1.添加pom.xml依赖2.写一个java类,继承UDF,并重载evaluate方法;3.程序打成jar包,上传到hdfs上。4.jar包添加到hive的classpath。4.注册成为临时函数或者永久函数(给UDF命名);hive>create temporary function 函数名 as 'UDF类全路径';注意:as后面那个是全类名。原创 2023-09-20 16:34:37 · 161 阅读 · 1 评论 -
大数据集群Spark-on-Yarn+Paddle深度学习模型部署
2.使用别名访问,在解压缩的时候相当于将压缩包里面的东西解压到别名这个文件夹里面,对于上面的py3.6.tar.gz就是解压到mypy3.6这个文件夹下,paddle_model.tar.gz解压到my_model这个文件夹下,相对路径是/my_model/paddle_model/jit.pdmodel。这里还要插一句,如果用到pyspark,虚拟环境中不用安装这个库,spark在运行的时候会自己加载本地的pyspark.zip。这里我的目录结构如下,打包为paddle_model.tar.gz。原创 2023-09-20 10:51:47 · 214 阅读 · 1 评论