- 博客(4)
- 收藏
- 关注
RSS订阅原创 maven、sbt、gradle的几种依赖打包方式
前言目前常用的项目管理工具大概包括maven、sbt、gradle几种，这几种工具在使用时往往会遇到一种常见的场景，就是需要把工程依赖的jar包导出或打成一个包，下面来总结这几种工具如何实现依赖打包。maven打成一个包，即依赖多少jar都统统解压为.class等内容，与项目自身的class打成一个包在pom中写入如下内容，注意如果已经有build以及plugins配置的话别覆盖错了...
2019-01-26 13:17:46
1838
原创 hive hql去除数据中的空格内容
如果直接使用trim，那只能将标准的英文空格删掉如果使用regexp_replace替换掉\\s，那就可以吧其他空白符号一起去掉当然了如果还有中文的，可以这么做regexp_replace(NVL(column,''),'[\\s]+|[\\u3000]+|[\,]','') as column...
2019-01-19 10:31:53
23103
1
原创 如何用excel打开csv文件
看似很简单的问题，直接文件->打开就行，但是很快就会发现如果csv不是gb2312格式，全部内容都会是乱码，而且就算是gb2312格式，很多列也莫名被转换为日期、数字等格式，比如一段字符串文本是00000738371291，但是打开之后就变为了数字类型，前面的0被舍弃，等等还有很多问题。解决方法正确的打开方式应该为：菜单“数据”->“自文本”,选择文件，然后在向导中指定信息，包括...
2019-01-11 14:24:23
7076
原创 解决hive在查询时出现的OutOfMemoryError问题
使用hive做了一些复杂查询时，因为语句过于复杂，对内存的使用可能比较高，这时候可能出现内存溢出的问题此时需要在beeline之类的命令行中，配置如下变量配置前记得先用set 变量名;查看下是否已经有内容了hive.tez.container.size=2048;可以更大set hive.tez.java.opts=-Xmx 512m;这里需要先查看下，把之前配置组合进来set te...
2019-01-03 17:45:28
4032
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人