![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 74
qq_42265026
这个作者很懒,什么都没留下…
展开
-
clickhouse 类型错误、聚合函数错误——字段别名的注意事项
最近接触了clickhouse,不得不说性能是真的强大,即使最简单的使用,不加任何优化也比常规数据库要快上很多,所以一直把它当作普通数据库来用,也支持sql语句,上手起来很快,不过今天写需求时用到了case when语句,从而引出了clickhouse字段别名的一些用法。首先说一下别名指的是:select columnA as columnB 这种用法。(得出的结论均为自己摸索,未查到相关资料,如有错误多多指正)最大不同:上一个字段的别名可在下面的字段中直接使用这个是接触ck时最不习惯的问题,因为以原创 2021-09-10 20:19:20 · 12358 阅读 · 4 评论 -
关于spark 版本问题遇到的一些依赖冲突报错
关于spark 版本问题遇到的一些依赖冲突报错第一个问题第二个问题第三个问题第一个问题对于spark 2.3.2版本,使用的依赖如下,在本地执行测试的时候报错误:Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsedMillis()J经过查资料,原因应该是这个spark版本中的guava版本为 16.0.1 ,该版本中移除了相关方法,所以会导致报错。<de原创 2021-03-12 16:49:32 · 3288 阅读 · 0 评论 -
hive mapreduce任务启动mapjoin失败,return code 3
hive mapreduce任务启动mapjoin失败,return code 3设置hive的自动加载小表大小出现问题调整map任务内存远程dubug源码问题解决PS:解决方法只针对问题Hive Runtime Error: Map local work exhausted memroy,内存耗尽的错误。前面说的都是解决问题过程,可自行跳过,解决方法在最后。之前处理过的一个需求,有一批ur...原创 2020-04-25 10:56:55 · 1198 阅读 · 1 评论 -
windows下运行mapreduce时出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误
windows下运行mapreduce时出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误的解决最近在学习Hadoop的基础,在写mapreduce时,因为不想每次打成jar包到虚拟机上运行,所以在Windows下装了Hadoop,家里和公司的电脑上都装了,公司的运行正常,但是同样的代码...原创 2019-10-15 21:41:18 · 261 阅读 · 0 评论