- 博客(8)
- 收藏
- 关注
RSS订阅原创 spark写入hive表问题
cluster模式不支持shell，所以当执行到System.exit(0)，程序开始报错，然后集群会按照yarn设定好的AM重启次数（在CDH的yarn配置板块中搜索application即可看到次数设置），重新运行，而且如果程序没有错的话，结果就没有错，这样就很难发现错误了。RowFactory.create(Object[]),传入object数组，所以可以将rdd中的数据，不管是字符串，还是json，先转换成Object数组，根本原因是将 httpclient。
2024-04-09 10:05:05
483
1
原创 idea 启动找不到或无法加载主类
idea 最新版本 2023.1 （之前版本的idea同理，编辑启动设置页面会直接有 最后一步选择的地方）
2023-07-20 21:44:17
2215
10
原创 clickhouse 类型错误、聚合函数错误——字段别名的注意事项
最近接触了clickhouse，不得不说性能是真的强大，即使最简单的使用，不加任何优化也比常规数据库要快上很多，所以一直把它当作普通数据库来用，也支持sql语句，上手起来很快，不过今天写需求时用到了case when语句，从而引出了clickhouse字段别名的一些用法。首先说一下别名指的是：select columnA as columnB 这种用法。（得出的结论均为自己摸索，未查到相关资料，如有错误多多指正）最大不同：上一个字段的别名可在下面的字段中直接使用这个是接触ck时最不习惯的问题，因为以
2021-09-10 20:19:20
14261
5
原创 java后端的几种实现方式
java后端的几种实现方式最近没事在做一些小题目，遇到需要提供http restful接口，通过接口操作zookeeper实现增删改查。虽然之前看过java后端的内容，但是基本忘的差不多了，这次梳理了一下，都是入门的东西。首先说这次了解到的主要是三种方式：第一种：servelet + jsp 手动配置项较多，非框架第二种：Spring框架 目前应该是后端主流实现方式吧第三种：Spring boot 在Spring框架的基础上进一步简化了实现方式，通过几个注解就可以实现自动配置。一、 serve
2021-05-27 20:46:58
2855
原创 关于spark 版本问题遇到的一些依赖冲突报错
关于spark 版本问题遇到的一些依赖冲突报错第一个问题第二个问题第三个问题第一个问题对于spark 2.3.2版本，使用的依赖如下，在本地执行测试的时候报错误：Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsedMillis()J经过查资料，原因应该是这个spark版本中的guava版本为 16.0.1 ，该版本中移除了相关方法，所以会导致报错。<de
2021-03-12 16:49:32
3519
原创 hive mapreduce任务启动mapjoin失败，return code 3
hive mapreduce任务启动mapjoin失败，return code 3设置hive的自动加载小表大小出现问题调整map任务内存远程dubug源码问题解决PS：解决方法只针对问题Hive Runtime Error: Map local work exhausted memroy，内存耗尽的错误。前面说的都是解决问题过程，可自行跳过，解决方法在最后。之前处理过的一个需求，有一批ur...
2020-04-25 10:56:55
1455
1
原创 windows下运行mapreduce时出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误
windows下运行mapreduce时出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误的解决最近在学习Hadoop的基础，在写mapreduce时，因为不想每次打成jar包到虚拟机上运行，所以在Windows下装了Hadoop，家里和公司的电脑上都装了，公司的运行正常，但是同样的代码...
2019-10-15 21:41:18
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人