- 博客(18)
- 问答 (4)
- 收藏
- 关注
原创 mac下载Oh-My-Zsh
本王章是针对中国环境下载ohmyzsh。ohmyzsh是干嘛用的我就不做介绍了,它的官网网址是https://ohmyz.sh/#install官网上介绍了两种下载方式1.curl$ sh -c "$(curl -fsSL https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.sh)"2.wget$ sh -c "$(wget https://raw.github.com/ohmyzsh/ohmyzsh/master/too
2021-12-02 14:02:06
1430
1
原创 关于mac安装kettle的报错:在停止spoon前,请先关闭其它spoon窗口
现象就是,解压完kettle的压缩包,然后安装好jdk,再用spoon.sh启动的时候,页面打不开。先看一下报错信息再看一下我的系统配置:操作系统:macOS 10.15.5kettle版本:7.1 或 9.0(我测试了两个版本)jdk版本:1.8.0_261-b12从报错信息能大致看出,是构建窗体的时候失败了,我刚开始怀疑是操作系统的问题,可能kettle自带的swt不支持mac系统,灵感也是源自于官网的一次问答:https://community.hitachivanta
2020-09-22 13:53:33
1469
原创 关于cdh中应用python语言写自定义函数遇到的奇葩问题
这是基于我的一次优化,原始脚本不是我写的。啥也不说了,先上代码(因为是生产环境,没办法粘贴出来,只能截图):车险信息,大体的意思就是根据一张保单的险别和保额,再按照配置表,看看符不符合条件。应用的hql:其中branchcode是二级机构,相当于省份。policyno就是保单号。现在有这样一个问题,我以全国数据为单位加工的时候,报错了。我注意到了报错的机构是辽宁,我又单独跑了辽宁机构的数据,同样报错,同时又排除了辽宁的数据就不报错,这样我锁定了不是资源问题,是辽宁机构的数据有问题
2020-07-12 15:32:57
191
原创 月亮与六便士
为了让灵魂安息,一个人每天都要做两件他所厌恶的事情。说这句话的人是睿智的,我也一直在努力践行着这条格言。因为我每天都按时起床,按时睡觉。--第二章...
2020-01-03 11:11:21
194
原创 多表关联如何建立索引
我是用的三张表进行关联的,一大两小。下面看一下三张表的具体结构。三张图对应三张表,然后下面是我写的查询sqlselecta.*,b.*,c.*from statjiankong_etl aleft joinibnr b on a.anadate = b.anadate and a.STARTYEAR = b.startyy and a.comcode2 =...
2019-10-22 17:57:53
14503
2
原创 mysql数据库计算各种单位的两个时间点的差值
mysql数据库有一个很牛逼的自带函数用来计算两个时间点的时间差,他就是timestampdiff(unit, datetime_expr1, datetime_expr2)第一个参数(unit)就是你想要算出来的单位,我总结了一下有以下几个:second -- 秒minute --分hour -- 小时day -- 天week -- 周quarter -- 季度...
2019-09-24 16:42:03
529
原创 从文章中检索出关系型数据信息算法
我承认我超级喜欢胡思乱想...今天我又有了新的想法,是关于从文章中提取出关系型信息的算法,我不知道现在是否已经存在了类似的算法,目前我还没有想到这种算法的用途,但是我觉得这很困难,但是又可行,所以我就决定还是把它记下来吧。文章呢,没出校门的时候我接触过小说,议论文,记叙文,说明文等等。就拿小说来举例子,一部小说提到的任务,故事情节,随着时间的行进,故事情节的发展,这些可不可以通过一种算法来...
2019-03-25 16:40:59
199
原创 存储和计算的分别云化设想
我的想法是这样衍生来的...云的概念我这里就不细说了,大致的意思就是可以自由分配固定的资源。比如说你有好几百台服务器,每台服务器资源相对来说比较大,你的服务不需要这么大的资源,一台服务器的资源,对你来说都是“杀鸡用了牛刀”,那么云计算就可以根据算法划分出适合你的服务的资源,剩下的资源,这个算法就会根据别的服务所需要的资源的多少来划分给别的用户,大致就是这么一个意思。我是做数据处理的,有几年...
2019-03-22 15:08:56
209
转载 关于maven的pom.xml报错
一、pom.xml报错类似:Missing artifact org.springframework:spring-jdbc:jar:3.2.4.RELEASE 这样的错误,提示某个jar包没有了。这个问题之前碰见好几次了,每次解决了下一次又忘了,特意记下来。解决办法是:右键项目,选择maven,选择update project,除默认选择外,再勾选Force Update ...
2019-03-13 17:26:50
164
原创 eclipse打jar包报错
想攻一攻hive的UDF,终于找到了依赖包,就用eclipse写了个简单的UDF,想打个jar包传到hadoop环境上,结果这jar包就是打不上。我根据报错信息上网上找了好多博客,最终在一位前辈的指导下搞定了,下面我总结一下这种报错可能遇到的问题。1.JDK的版本和JRE的版本不一致。JDK版本在哪里看呢?我上个图。当然,我这里的JDK版本是没问题的,如果你的JDK和JRE版本...
2019-03-12 15:08:03
2285
原创 kettle的元数据
首先解释一下元数据,元在中国汉语中有‘基本’之意,所以元数据也可以说成是kettle的基本描述数据。拿人来举例子,一个人出生年月,年龄性别,地区职业,生活阅历等等,这些都可以称为一个人的元数据,那么kettle的元数据指的也是描述kettle的一些信息。元数据还可以分为三类:业务元数据(Business Metadata),技术元数据(Technical Metadata)和过程处理元数据(Pro...
2018-05-11 15:33:52
3729
原创 hive外表的.txt文件‘自动补全’问题
hive的表按性质来分,目前我知道的就是管理表和外部表。 建表语句中主要用关键字来区分,EXTENAL表示的就是外部表,MANAGED表示的就是管理表。区别就是,hive认为外部表并非完全拥有这份数据,所以删除该表并不会删除掉这份数据,删的只是元数据;还有一个小区别就是,有些hql不适于外部表。当然今天我所总结的并不是他们的不同,而是针对于外部表的josn文件的编辑格式。这是我写的一个j...
2018-05-10 17:03:12
283
空空如也
mac邮件编辑的规则无效吗?
2021-07-21
表关联和子查询效率问题
2020-10-09
mac系统启动kettle9.0报错
2020-09-18
如何寻找hive的UDF需要继承的类?
2019-03-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人