shell中嵌入SQL查询

个人博客 https://kongdada.github.io/ 这两天在做一个hadoop升级的事情。分配到我的任务就是在新的集群测试项目中的脚本,保证能够在新集群跑得通,并产生正确的数据。那么数据正不正确怎么个比较法呢,因为暂时是新旧集群一起运行此项目,项目最后产出的数据量也不大,十万过一点,...

2019-01-22 20:31:34

阅读数 94

评论数 0

在RedHat5.8上安装jira

个人博客 https://kongdada.github.io/ 在某个抓耳挠腮写不出代码的傍晚,老大那个时常是灰色的头像开始疯狂跳动,正好处于转正前夕。我有点紧张了,点开了对话框。 “XX,下周你看一下JIRA,搭建个平台出来,如果需要Linux机器的话,找我要一下。” “想了想,打了好几个字,...

2019-01-22 20:30:55

阅读数 72

评论数 0

Hadoop Streamig 和 Hadoop Distcp的简单介绍

个人博客 https://kongdada.github.io/ 今天总结一下经手的一个项目中用到的Hadoop工具; 距离上一篇文章不知不觉快4个月过去了,期间经历了毕业,入职这些事儿。一直想写个求职总结,错过了当初那份激情,现在已经有点淡忘那种真真切切的朝不保夕的感受。看后来有没有心情在更吧。...

2019-01-22 20:29:55

阅读数 50

评论数 0

在Spring中创建切面,使用AspectJ

个人博客 https://kongdada.github.io/ 看了网上一些AspectJ的例子,大多一塌糊涂。说完这句话有点慌张,如果后续在学习中发现是我错了,再来打脸也不迟。 说说我的理解,目前我所学习到的实现AOP(切面)的方式大致可以分为两类,SpringAOP与AspectJ.关于Sp...

2019-01-22 20:29:18

阅读数 58

评论数 0

在Spring中创建切面,通过切面引入新功能-使用配置XML

个人博客 https://kongdada.github.io/ 上一篇博客中记录了使用Java注解方式开发一个切面的小例子,这一篇记录使用XML配置的方式开发一个切面的例子,同时也完成通过配置XML新增功能。 实现切面 定义特定的方法 首先定一个接口 package aopXML; pu...

2019-01-22 20:27:37

阅读数 82

评论数 0

在Spring中创建切面,通过切面引入新功能-使用JAVA注解方式

个人博客 https://kongdada.github.io/ 最近在看《Spring实战》,在这儿使用注解完整的实现一个切面的例子,也实现通过注解引入新功能; 实现切面 关于切面相关概念这篇不提,可以大致理解成,只要调用某个特定的方法,这个调用信息会被切面拦截,然后执行切面定义的逻辑,...

2019-01-22 20:26:38

阅读数 95

评论数 0

mapreduce进程ruduce端内存溢出,解决方法和探索

个人博客 https://kongdada.github.io/ 昨天碰到一个pig任务执行过程中发生了内存溢出。写点文字记录一下解决过程,顺便整理一下自己的思路。 一 错误信息 2018-08-15 05:20:24,102 [main] INFO org.apache.pig.backen...

2019-01-22 20:25:29

阅读数 88

评论数 0

HbaseImportTSV

个人博客 https://kongdada.github.io/ 这个也是最近经手的一个项目中涉及到的一个可以将HDFS上的数据直接导入HBASE表中的命令行工具。这个属于HBASE所以与上一篇Hadoop中的工具分开来写。 Hbase importTsv 概述和使用步骤: ImportTsv是...

2019-01-22 20:24:16

阅读数 41

评论数 0

一点资讯技术面总结

个人博客地址 https://kongdada.github.io/ 感谢一点资讯给的面试机会; 以前文章提到过的不在赘述,记录新的知识点。 Linux Linux命令用法查询网站:Click to jump wc wc统计文件里面有多少单词,多少行,多少字符。 语法: [root@www ~]...

2019-01-22 14:56:33

阅读数 10425

评论数 0

校招vivo技术面试总结

稀里糊涂过了笔试,很幸运的得到了面试机会,背着我的小书包,挤着地铁就去了西土城面试; 自我介绍 这部分就不多说了,我说的也不好,大致介绍了一下个人的基本情况; 数据结构 给100W个区间,不重叠。给出一个数N,求这个数在那个区间。空间复杂度要求我看到了,但估计我太菜了,人家没问;...

2018-03-30 11:31:03

阅读数 4520

评论数 2

Get与Post的区别

先说结论:他们的本质区别在语义上,Get是获取资源,Post是处理资源。 由此延伸出来的区别就是:Get是安全的,幂等的,可缓存的。Post不安全的,不幂等的,不可缓存的。 安全的:是指他不对服务器资源做任何修改,是一个只读请求,对服务器来说这个请求就是安全的。 幂等的:执行一次和多次,效果...

2017-12-08 14:37:16

阅读数 145

评论数 0

从Hive导出数据到Oracle数据库--Sqoop

始发与个人博客:https://kongdada.github.io/ 实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下: 首先解释一下各行代码: sqoop export # 指定要导入到Oracle的那张表(通常与hive中的表同名) --table TABL...

2017-12-04 13:28:37

阅读数 3968

评论数 1

Hive常用命令

始发与:https://kongdada.github.io/Hive常见命令 显示所有数据库 show databases; 指定使用某个数据库 use database_name; 显示所有表 show tables; 查询表结构 desc table_name; 显示表的详细信息 ...

2017-12-04 13:18:15

阅读数 302

评论数 0

hexo+github搭建博客过程

个人理解:简单说一下个人对搭建理解: - github相当于是服务器 - hexo替生成漂亮的页面 - 通过hexo命令将生成的页面部署(就是上传)到github, github替你将这些页面保存起来。有人访问你的博客,github 就自己发给他。搭建过程: 博客搭建详细教程:神秘链...

2017-12-04 13:15:49

阅读数 210

评论数 0

hadoop2.8.0 安装与环境搭建

详细教程这儿有篇宝典,简单有效,相见恨晚:点击打开宝典 安装SSH,配置SSH的无密码登录。 记得先更新一下APT:sudo apt-get update 安装个Vim :sudo apt-get install vim 安装SSH服务:sudo apt-get install openss...

2017-12-04 13:10:27

阅读数 136

评论数 0

Markdown

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富...

2017-11-29 17:32:07

阅读数 156

评论数 0

栈的应用,括号匹配,后缀表达式计算,有趣的汉诺塔--python实现

三个例子很简单,都来自数据结构课本上的例子。但简单才好玩嘛。 第一个:括号匹配,就是找左括号有没有相匹配的右括号,反之亦然。 代码: # -*- coding:utf-8 -*- # 栈的应用:括号匹配 def MatchPairs(str): arr = list(s) stack = []...

2017-10-04 17:12:13

阅读数 386

评论数 0

丑数--python实现

笔试的时候遇到这个题,当时没做出来。 参考资料:大佬传送门,传送门二。 题目:我们把只包含因子2、3和5的数称作丑数(Ugly Number)。 例如6、8都是丑数,但14不是,因为它包含因子7。习惯上我们把1当做是第一个丑数。 求按从小到大的顺序的第1500个丑数 方法一:简单粗暴,分解每一个数...

2017-10-03 14:08:57

阅读数 1842

评论数 0

线性筛选素数--python

首先知道:合数一定可以分解为几个素数的积,既然是几个素数,就一定有最小的一个。我们将这个最小素数因子叫最小素因子,                     那么是我们可以知道任何一个合数都有唯一的一个最小素因子。我们要做的事就是用素因子筛选出其对应的合数,                   然后...

2017-09-29 15:40:59

阅读数 287

评论数 0

python3 一些经常使用的数据结构和内置方法。

(一)输出 print(a,b,c,sep="$",end="*")   # 参数sep指定输出分隔符,参数end指定输出结尾,默认是换行。 (二)数字 int('111', n)    # 按照 n 进制将一个字符串转换为整数。默认十进制。 bin()  ...

2017-09-16 14:58:56

阅读数 229

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭