- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink 无法添加依赖包提交到集群的解决方案
问题描述 flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做，但是事实是我们不想打一个fat包，我们希望将业务独立出来，依赖动态提交，而且fat包占空间大，上传集群费时，不方便迭代解决方案 思路：程序在打包的时候，不打超级包，在提交节点提前上传好需要的依赖，然后在...
2019-10-23 21:03:18
1012
原创 0539-5.15.0-HBase-Spark无法在Spark2编译通过(Could not access type Logging in package org.apache.spark)
问题描述： hbase 1.5在spark2.x中使用hbase-spark 依赖访问Hbase的时候，编写的程序无法完成编译，在编译过程中报入下错误Error:scalac: missing or invalid dependency detected while loading class file 'HBaseContext.class'.Could not access type ...
2019-10-23 20:49:38
399
原创 Hbase入库(CallTimeoutException)
问题： 如题 ：在入库hbase的时候 RPC超时报错入下cal exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=87, waitTime=60002, operationTimeout=60000 expired. at org.apache.hadoop.hbase.client...
2019-10-23 20:29:21
2134
原创 Hbase bulkload数据报 more than 32 hfiles to one family of one region
问题描述如图：在采用hbase 的bulkload方式load数据的时候，报如上错误分析： hbase的默认一个region下默认只能最大有32个hfile文件，默认的hfile的文件大小最大为1G，也就是说一个region里面最多只能放32G，一个批次最大的量就是32G，这样远远不能解决问题， 所以需要调大相应的参数来解决问题解决方案在hbase-site.xml更改这两个参数来调...
2019-10-23 20:18:41
486
原创 xstream特殊字符转义问题
xstream特殊字符被转义问题1.问题描述2.解决方案1.问题描述如上图显示，类似于“”，‘’这些特殊符号使用xstream，被转义成特殊字符代码如下：public class XmlUtils { private static XStream xstream=createXStream(); private static XStream createXStream(...
2019-10-23 19:55:13
2396
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人