然月 枕流君

落叶相依浑似醉,潦倒何妨;悠悠岁月谁高歌,绝胜柳狂

排序:
默认
按更新时间
按访问量

hive 跨集群迁移

hive跨集群迁移数据工作中相对比较常见的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等.1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk h...

2016-01-20 22:49:24

阅读数:3247

评论数:0

oozie action配置retry-max失效

本Markdown编辑器使用[StackEdit][6]修改而来,用它写博客,将会带来全新的体验哦: 有同事反应,使用oozie编写wf脚本时, 设置retry-max=15(重试次数),并没有生效, 无论设置多少, 都仅仅重试3次.<workflow-app name="AOF...

2016-01-17 21:21:49

阅读数:1420

评论数:0

docker自定义docker ps及常用组合命令

我们开发过程中, 有部分是截取docker ps的监控, 但是dockerps 的所属信息较少,比如父进程号, 子进程号, 当前挂载信息等没有办法能够获取,故此我们需要自定义输出我们定制的docker ps. docker inspect  容器号或容器名称能够输出容器的详细信息, 如: [...

2016-01-17 12:24:17

阅读数:15934

评论数:0

关于mapreduce的topN的问题

前段时间有位同事的mr在集群上时而通过时而挂掉, 错误是 2015-12-28 11:13:26,013 INFO [main] org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 2 segments lef...

2016-01-07 23:07:13

阅读数:1881

评论数:0

orcfile 与 parpuet 的压缩测试

近期使用hive对orc 与 parpuet做了初步的压缩比分析, 通过压缩2.3表数据,得到的结论为:   1. 非压缩的orc/parpuet ,parpuer查询与文件大小,应较好一些.   2. 经过压缩算法: parpuet 的gzip压缩方式的压缩比最小, 达到15% - 25%   ...

2015-12-26 22:53:29

阅读数:1229

评论数:0

flume日志抓取设计

近期实在没有什么可写的了, docker遇到很多的坑, 只能先写一点其他的东西, flume用的公司很多, 不过一般成熟的一二线的公司基本是很少使用, 他的性能和网络传输一直是有提升空间的, 对于我们这些小公司出身的人,曾经还是靠他混饭吃的. 设计是两年前的实现, 现在觉得很多不是很合理的地方,特...

2015-10-21 20:34:24

阅读数:13616

评论数:3

关于docker build时间过久及add不能跨文件的问题

我们使用自动程序buildimage镜像,其中过程中发现很多诡异的问题, 有很多尚在解决中, 但是同时buildimage, 高频度的连续buildimage依然有部稳定的情况,特别在超过5G以上的镜像时,发生的概率极高. 我们先说两个问题:     1. docker build 时间过久,...

2015-10-18 20:54:41

阅读数:2155

评论数:0

关于docker包存储结构说明

前段时间与同事交流docker的安装包层次结构,并沟通相关每个文件的作用, 但是一直没有进行文字备份, 过去已经一月有余, 还是将其记录下来,供后续工作参考 默认docker启动会将目录安装在/var/lib/docker中, 不过建议可以修改 --graph="/path/docker...

2015-10-09 20:45:11

阅读数:3136

评论数:0

随机数组遍历

随机遍历数组是分布式开发中较为常见需求, 同时也有部分业务系统会类似的需求. 通常使用java方式实现,代码相对较多, scala实现则相对较为简单实用:Random.shuffle(数组) 数组随机读,同时不重复: for (pid <- Random.shuffle(Se...

2015-04-03 10:03:39

阅读数:647

评论数:0

scala实现设计4个线程,其中两个线程每次对j增加1,另外两个线程对j每次减少1

今天早上忽然想起来, 刚毕业工作时候,有道线程题,是实现设计4个线程,其中两个线程每次对j增加1,另外两个线程对j每次减少1. 如果是java而言,实现非常简单,scala实现则更简单,更易理解. 当然没有特别漂亮的代码,今天想起来试了一下,感觉有点意思: object ActorServe...

2015-04-02 10:44:36

阅读数:1078

评论数:0

spark的FairSchedule

spark 内置TaskScheduler级别的调度算法,分别是队列与公平,默认是队列方式。具体源码可参考SchedulableBuilder 准确来讲spark有两层公平,一层是公平调度,一层是公平算法,如此便可使用公平调度+公平算法 或 公平调度+队列算法 公平调度方面,spark的多队列设置...

2015-03-16 18:31:54

阅读数:2887

评论数:0

关于Spark的Broadcast解析

首先,推荐下大神的文章,http://blog.csdn.net/column/details/spark.html 仅作为大神未未提到的细枝末节,进行补充。 Broadcast(广播)是相对较为常用编码功能,通常使用方式,共享配置文件,map数据集,树形计算结构等,为能够更好更快速为TASK...

2015-02-08 22:44:19

阅读数:25755

评论数:2

荒废6年的博客,感慨ing

一点小想法

2015-02-08 18:26:49

阅读数:545

评论数:0

TCP/IP协议:TCP与UDP的理解

TCP与UDP是属于第四层的运输层的协议,也是整个TCP/IP协议族的核心协议,并且TCP与UDP是同级的;    TCP是可靠发送数据,他本身是基于流的发送,并且为了安全他发送数据前会去创建连接,如果传输过程中有遗失,会自动重传遗失资料;        UDP是一层简单的封装,几乎不做任何处理,...

2009-05-30 21:54:00

阅读数:1428

评论数:0

oracle的笔记,凑合着看吧!8.分页以及rownum

oracle是用虚拟列的rownum代表行数,写法呢;    select * from (select rownum  as r, ename from emp where rownum 5;             记得他只能使用(大于号)时 候只有rownum > 0 时会得到记录;...

2009-05-27 14:06:00

阅读数:579

评论数:0

资料:OSI模型

OSI模型OSI/RM参考模型的提出  世界上第一个网络体系结构由IBM公司提出(74年,SNA),以后其他公司也相继提出自己的网络体系结构如:Digital公司的DNA,美国国防部的TCP/IP等,多种网络体系结构并存,其结果是若采用IBM的结构,只能选用IBM的产品,只能与同种结构的网络互联。...

2009-05-26 23:24:00

阅读数:569

评论数:0

oracle的笔记,凑合着看吧!7.事务以及性能提升

事务,已经是烂谷子的话题了,我又不是之前玩spring的那个小白痴了,事务,可笑呢,哥我熟到掉渣了;事务简单说就是一起递交,一起回滚,保证数据的完整性;oracle的事务就三个关键字: begin transaction(事务开始), rollback(回滚) ,commit(结束事务);事务的隔...

2009-05-26 23:18:00

阅读数:444

评论数:0

oracle的笔记,凑合着看吧!6.分区

分区,个人理解就是将一个大表分解成小表储存,可以提高各方面的性能;    范围分区(range): 就是一个确定范围的分区,如星期一到周日为一个范围,每个星期为一个分区;                语法: partition by  range(字段)  (                  ...

2009-05-26 23:17:00

阅读数:630

评论数:0

oracle的笔记,凑合着看吧!5.PL-SQL的初级技巧

if判断:    关于简单的if逻辑判断,简单的说下;        语法 : if 表达式 then  --业务逻辑--  end if;         例子:修改记录,如果没有找到就输出你好;             declare              name emp.sal%typ...

2009-05-26 23:16:00

阅读数:484

评论数:0

oracle的笔记,凑合着看吧!4.PL/SQL

PL/SQL是SQL的补充语言,相当于数据库内置的一种语言,用于写存储过程与触发器;拥有功能:块结构,变量和类型,条件逻辑,循环,游标,保存查询返回结果,sql函数,存储过程,包;              1.存储过程:就是带有名字的PL/SQL的程序块,创建后可以直接调用,仅此而已;     ...

2009-05-26 23:14:00

阅读数:495

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭