- 博客(4)
- 收藏
- 关注
原创 maven、sbt、gradle的几种依赖打包方式
前言目前常用的项目管理工具大概包括maven、sbt、gradle几种,这几种工具在使用时往往会遇到一种常见的场景,就是需要把工程依赖的jar包导出或打成一个包,下面来总结这几种工具如何实现依赖打包。maven打成一个包,即依赖多少jar都统统解压为.class等内容,与项目自身的class打成一个包在pom中写入如下内容,注意如果已经有build以及plugins配置的话别覆盖错了...
2019-01-26 13:17:46 1859
原创 hive hql去除数据中的空格内容
如果直接使用trim,那只能将标准的英文空格删掉如果使用regexp_replace替换掉\\s,那就可以吧其他空白符号一起去掉当然了如果还有中文的,可以这么做regexp_replace(NVL(column,''),'[\\s]+|[\\u3000]+|[\,]','') as column...
2019-01-19 10:31:53 23195 1
原创 如何用excel打开csv文件
看似很简单的问题,直接文件->打开就行,但是很快就会发现如果csv不是gb2312格式,全部内容都会是乱码,而且就算是gb2312格式,很多列也莫名被转换为日期、数字等格式,比如一段字符串文本是00000738371291,但是打开之后就变为了数字类型,前面的0被舍弃,等等还有很多问题。解决方法正确的打开方式应该为:菜单“数据”->“自文本”,选择文件,然后在向导中指定信息,包括...
2019-01-11 14:24:23 7132
原创 解决hive在查询时出现的OutOfMemoryError问题
使用hive做了一些复杂查询时,因为语句过于复杂,对内存的使用可能比较高,这时候可能出现内存溢出的问题此时需要在beeline之类的命令行中,配置如下变量配置前记得先用set 变量名;查看下是否已经有内容了hive.tez.container.size=2048;可以更大set hive.tez.java.opts=-Xmx 512m;这里需要先查看下,把之前配置组合进来set te...
2019-01-03 17:45:28 4122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人