- 博客(96)
- 资源 (10)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 挖挖Hive的代码（三）——生成MapReduce（中）
好久没有更新博客了，最近终于有空可以继续分享我对Hive代码的剖析了。不想再用上一篇的那种风格来解读代码了，直接上白话版的代码解读吧。上一篇已经贴过一段模式匹配法处理Operator树的代码，罗列了十多个处理流程。这次就具体展开的解读一下Hive是如何实现这些处理流程的。GenMRProcContext （下面简称ctx），记录了整个遍历过程中的上下文信息。Pa
2012-08-19 16:28:17
3944
原创 挖挖Hive的代码（二）——生成MapReduce（上）
Hive在做完语义分析后，会把查询语句的逻辑转化成一个由operator构成的DAG。但是这个DAG不能完全对应于Hadoop的计算框架，还需要根据Hadoop的框架要求，进一步的切割剪裁才行，就是封装成对应的Task对象。切割这个DAG的逻辑在SemanticAnalyse.java中的genMapRedTasks方法里，核心代码如下： Map opRules = new Li
2011-09-24 16:45:09
4076
2
原创 挖挖Hive的代码（一）——UDF
系列第一篇，先扯扯。Hive的东西太多了，想一篇文章介绍完也是可以的，但是没有意义。所以我会分几篇写下我的“挖掘”经历，当然了，我也没打算把Hive所有的内容都挖一遍，只是记录下我感兴趣的、没见别人挖过的…… Hive对查询语句的解析过程，在淘宝数据平台的官方
2011-08-28 21:03:55
4851
2
原创 回到CSDN
记得上一次从CSDN搬走，是因为当时在学校里访问CSDN的博客，响应速度实在受不了……这次又回来了，因为受不了JavaEye（哦，现在叫ITeye了）博客的单调风格……给个ItEye的传送门吧：点击打开链接
2011-08-28 15:31:28
1502
两天记
本记主要记录一下昨天重装系统的心情，和刚刚看到的一段很有感触的经验。宿怨：重装系统是积淀了好久的念头，RHEL太不合我胃口了，资源太少，很多包通过yum装不起来，想要实现我理想中的个性化太艰难了（主要我不喜欢折腾系统太久）。导火索：Python的安装环境被我不小心删了，重装Python不知为什么有些库编译不起来。动手了：移动硬盘不在身边，没法使用惯用的硬盘安装方式了，于是打...
2011-01-10 22:24:16
121
上手mercurial
无论是在学校里还是之前在team里的一些开发都是用subversion做版本控制的，习惯于svn up、svn ci……当然也经常挣扎于svn的烦恼中，尤其是来公司干活后。最头痛的是经常会遇到自己coding了好多代码，突然来了一个棘手的bug，虽然改正很轻松，但提交就麻烦了，因为除了修正bug的代码还有我未完工的代码，不能简单的svn ci了~ 最近可能也是因为项目里不...
2010-11-28 20:19:32
99
刚工作，博客素材严重匮乏
来杭州实习了四个月了，不是兼职，不是给老师干活，不是打收银员那样的工，而是真真实实的在公司干我的本行，有好奇，有激情，有压力，有遗憾…… 刚开始接触这个行业，就向往着阿里巴巴，一直憧憬着，一直努力着，最终真的来了，还来的那么有戏剧性。生活充满了未知和惊喜。 在学校的时候，基本没有正式的任务，所以闲时很多，可以经常混迹于论坛、博客、邮件列表，体验、学习、试验各种好玩的技术，也就会经常...
2010-11-18 21:50:50
169
原创 云云实习生活
这个点已经是国庆节当天了，哈哈，开始了实习后最长的一个假期！昨晚才从杭州坐大巴回到的家（其实就是几个小时前的事）。感谢公司的HR晨哥，在我焦急的等公车的时候，遇到了他，于是把我捎到了杭州北站；抱怨一下大巴上的厕所，太臭了，熏死我了…… 三个月前，意外的在邮件列表里（感谢华蟒中国!)看到了一则实习生招聘信息，然后惊讶的获得了一个python开发的实习机会——东家是我最...
2010-10-01 01:35:29
157
为锦书去窃书
不知哪里来的念头，想买电纸书（为了与电脑上的电子书区分，就这么叫吧）了。本来想买kindle的，可是等上市还要一个多月；本来已经在淘宝上拍下了汉王的一款，突然看到了bambook，就嫌汉王贵了；本想去官网买的，可要排队预订……于是去淘宝买了一台内测版的bambook，中文名——锦书~可是电纸书需要电子书资源才能发挥它的用处，工作中遇到的资料只是一小部分（工作中通过显示器看资料太刺眼也是买电...
2010-09-18 21:44:30
128
捉摸Python的WSGI
上月初开始实习的，想来一个月了，却一直没有时间更新博客，导致七月博客竟然一篇都没有…… 学了三年Java，就因为接触了三个月的Python，于是就找了一个Python相关的实习，这厮太不“忠义”了…… 过去的这个月，接触的最多的就是Python的WSGI了，WSGI不是框架不是模块，仅仅是一个规范协议，定义了一些接口，却影响着Python网络开发的方...
2010-08-10 21:37:26
172
改进我的人人农场收菜外挂
之前在论坛里发了我的收菜外挂代码（详见文章《被偷无奈写个收菜外挂》），嘿嘿，关注的人还真多，还上了首页！ 这两天把代码改进了一下，调整了一下结构，设计得更OO了。另外主要的变化是增加了自动解析下次收菜的时间，并且自动“秒收”（打引号是因为wap版农场的限制，其实精确不到秒……）。我在代码里预留了喂食和偷菜的功能，其实也很好实现，尤其是偷菜，但这样就少了游戏的趣味了~但是喂...
2010-06-19 09:45:40
456
研究了一下字符编码
凡是在应用中涉及到中文了，都会遇到字符编码问题。之前没有仔细研究，脑中只有一个比较敷衍的概念——在交互中统一字符编码就不会出问题了~具体字符编码会出什么问题，一直没好好研究下。（今早看到华莽邮件里又有人为了字符编码抓狂了，同情下……） 首先要清楚一下几个概念： 字节（byte）：计算机中存储数据的单元，一个8位的二进制数，是一个很具体的存储空间。 ...
2010-06-16 17:47:59
92
被偷无奈写个收菜外挂
无聊的时候玩玩人人农场，不知不觉等级就高了，于是乎就招偷了……作为一个玩农场的程序员，不能对此束手无策的！写个收菜的程序吧，顺便练练Python！ 研究了一下人人网的wap页面，写下了如下的代码：#! /usr/bin/env python#coding=utf-8import urllib2,urllibfrom xml.dom import m...
2010-06-14 21:14:51
366
路径中的空格在作梗
Tomcat里的一段程序要读取一个配置文件，在自己电脑里跑一点问题也没有，文件内容乖乖的给我读出来了；可应用部署到别人的机子都会报错：文件获取失败！ 代码读文件是这么写的：String fileAddress = this.getClass().getClassLoader() .getResources("c...
2010-06-08 12:07:19
91
HTML5的表单到底还是不支持PUT、DELETE？
REST架构的核心属性之一便是统一接口，可现在的HTML表单只支持GET和POST方法，一下子就“禁掉”（但是还是可以通过JavaScript脚本实现其它接口）了REST要求的一半接口。《RESTful Web Services》中很多例子都给form的method赋上了PUT、DELETE值，说是HTML5中会支持。于是我就好奇地搜了下HTML5在这方面的内容。 ...
2010-06-06 22:09:17
1394
开始学习REST
刚才去学校的新图书馆泡了一会儿，感慨啊：我们终于有像样的图书馆了！图书馆好敞亮，好大，座位好多，环境很好，狠有读书的气氛，待里面真的灰常的享受~ 感慨到此为止~ 今天去图书馆完全是冲着《RESTful Web Services》去的。怎么会突然想到这本书的呢？今天开通了豆瓣，在读书频道它猜的；外加前些天面试中兴的时候，面试官也问到了我对REST的...
2010-06-03 21:59:29
100
简单比较Python的数据持久化操作（二）
Python中操作关系数据库最直接的就是用DB-API了，流程一般是：连接、执行SQL语句、提交、断开。以MySQL为例，下面是各步骤的代码示例： 首先是连接： % python>>> import MySQLdb>>> conn = MySQLdb.connect(host='localhost', user='root',...
2010-06-01 11:34:29
184
简单比较Python的数据持久化操作（一）
最近喜欢上了Python，喜欢它的简洁高效，喜欢它的“无所不能”。 在动手我计划的项目之前，打算先储备些基础知识。之前已经对基本的语法熟悉了，现在该对数据操作做一些深入了。Python的数据持久化操作主要是六类：普通文件、DBM文件、Pickled对象存储、shelve对象存储、对象数据库存储、关系数据库存储。 普通文件不解释了，DBM就是把字符...
2010-05-31 22:22:35
381
阿里巴巴宣讲会归来
昨晚跑南大本部去听了阿里巴巴的宣讲会，顺便还参加了一场比试，比试被我搞水了…… 宣讲会来了两位大佬：鲁肃和愚公。愚公这名字早有耳闻了，他的《大道至简》也看过，好书！他的宣讲也比较有实干，多少能学到点实实在在的知识；鲁肃的演讲内容就比较空洞了，有炫耀的感觉，讲了很多支付宝成功的经历。宣讲会嘛，就是给公司做宣传的，好把人讲得热血沸腾，争着来加盟~但他的话语又不是很有渲染力，...
2010-05-21 10:01:07
213
最近的事儿
突然意识到好久没有更新博客了，只因为最近的那些事儿实在没什么可在这儿写的。 最近突然对Python感兴趣了，一则它是动态语言，二来它是所谓的脚本，最重要的是它的简约而强大。它是多平台的，而且可以和两大开发环境（Java和.net）融合；它的语句简练，一个可执行的hello world程序只要一行代码，Java至少要一个类定义、一个main函数吧；我目前印象最深的...
2010-05-10 21:14:37
102
我的服务流程编排工具第一个发布版
话说上次有前辈推荐学习敏捷开发方法，于是我去当当拖了两本书——《敏捷软件开发——原则、模式与实践》和《敏捷开发的艺术》，都是好书，受益匪浅。 但在这个项目里我是一个人在战斗，怎么办？只能和空气结对~我用Win7的便笺功能作为故事卡片贴桌面上；测试驱动是本来就这么干的；版本控制一直在用Google的code服务；客户只能又让自己兼了……~~~~以上是胡扯，我...
2010-04-26 15:32:43
733
SVN让我虚惊一场
再感叹一下：虚惊一场啊…… 就因为在Eclipse里将工程默认的主代码源码包src改成了main文件夹，提交时就冲突了…… 我索性将打叉的src文件夹从工程目录下移走，将main文件夹改回src，还是不能提交，这回说src已存在了…… 我琢磨着怎么办呢~看到右键菜单里有“标记为解决”，点了没用…… 后来不知选了个什么选项，弹...
2010-04-16 09:25:30
67
人生第一次话面就这么杯具了
刚下课去食堂的路上接到了阿里巴巴的话面电话，那一刻，贼激动贼激动啊！人生的第一个电话面试，还是阿里巴巴的。可是我一点准备都没有，确实当时投简历的时候也没多少信心，有点把自己简历当“垃圾邮件”那样投出去了，于是后来也没做什么准备。没想到还真接到电话了！（这里第一次感谢一下阿里巴巴）电话里她问到我现在做的事、过去的一些经历……这些也就那么回答过去了，毕竟是经历过的。但我也能意识到，由于...
2010-03-30 18:56:37
114
在学校项目中感受软件设计和设计模式
虽然专业是软件工程，但技术都是靠平时看书自学的。在学习软件工程、设计模式等较抽象的技术时，如果遇到晦涩的“教科书”时肯定是一头雾水；运气好遇到好书，那就有机会赞叹一下作者的理解能力，感受一下设计中的艺术。但如果没有实践，即便是好书也很难在记忆中留下持久深刻的印象。 于是乎，在学校里我就尽可能地去争取接触各种项目的机会。但学校里的项目情况毕竟与书上引用的行业情况不同，往往...
2010-03-29 22:11:33
132
小本求给位大佬推荐个实习机会
小的11年毕业（明年），不打算考研，所以感觉该是找单位实习的时候了。我知道论坛里各大豪门大佬众多，望好心人能推荐一个实习机会！ 下面是我黏贴的51Job上做的简历，敬请过目。（略去个人信息） 自我评价 勤奋刻苦是我最大的特点。本人对信息技术类知识领悟能力极强，各种相关知识上手很快，有很强的读代码能力。专注于java网络应用方向的开发，及服务后台应用...
2010-03-16 16:45:03
142
从dom4j到JAXB
寒假前，大费周章地按照BPEL协议的规定，并参考了Eclipse的BPEL设计工具的模型设计，建了大量的POJO模型。然后给每个模型类加了一个toElement()方法，利用dom4j工具将内容翻译成XML。这样可以做到只要最后执行：根节点的toElement()方法，就可以得到完整的BPEL流程的代码。为了保险起见，我还给每个POJO做了单元测试，以保证没有“笔误”。这些代码可都是一...
2010-03-16 09:15:17
645
一个不完满的中期检查
发现每次项目结束，或是阶段结束的时候总是工作量最繁重的。据说明天国家科技部下来检查了，前天熬了夜赶修，昨天唧唧歪歪的才大致调通，今天上头去和上上头集成的时候似乎又出了点问题，电话又煲了好久……第一次感觉这么累…… 不得不感慨一下，上头不搞技术就算了，工作量分配也太不科学了，一个人要做那么多东西，好像很轻松的样子~还有就是需求提的太模糊了，每次都得我去猜，然后将可能的结果...
2010-03-09 22:51:02
137
做WSDL解析时的心得
现在在做WSDL的解析模块，要以前肯定是傻傻地用dom4j一个个节点获取分析，好在用Jersey时结识了JAXB，用JAXB做映射就方便多了！ 在完成了任务的同时，记录下如下心得备忘： 用JAXB映射有命名空间前缀的属性时，不要用String，否则还要单独分析命名空间；用QName就挺不错的，JAXB也能很好的识别。 Java很强大，很多...
2010-03-03 12:44:58
122
我的BPEL业务编排系统雏形
虽然今天结束了连续的艳阳天，下了半天雨，又闷又热，但我心情灰常的好。两个月过去了，断断续续，一点一点磨到现在，我的所谓的业务编排系统终于有东西可以用来演示啦！ 我做的这个系统的用途嘛，是GIS的一部分，就是将现有的WebService通过BPEL语言来组合编排，这个编排方式当然是图形化操作了，而且操作越简单越好，复杂详细的编排工具Eclipse和Netbeans都有免费...
2010-02-25 23:13:55
459
1
什么时候能够忘记Windows
作为一个程序员（“预备役”：还没毕业），我却不喜欢捣鼓各种框架来组合出各种特殊应用，虽然我现在还在干这个，因为现实的无奈。我一直梦想着能够开发一套操作系统，改变人们现在的操作观念！忘记Windows，忘记开始菜单…… 先上点冷菜。 微软的决策者绝对是商业天才，知道控制人们的习惯，于是造就了自己的辉煌王国。盗版的Windows其实没有伤害到...
2010-02-23 11:47:25
93
原创 初试基于Jersey框架的RESTful服务开发
目前做着的项目中有一个向服务器获取树控件数据的模块，结合了之前受到RESTful架构思想的影响，我打算用RESTful的方式来发布资源服务。因为我对RESTful的理解就是一个面向资源的服务架构（我管它叫ROA），那用在这里是挺合适的，至少还能学一种新技术。 我突击了解了几种主流的RESTful框架，比如Restlet, cetia4等等，最终感觉还是Jersey最...
2010-02-10 16:37:44
146
原创 Flex中RemoteObject的映射方式
今天在测试Flex与java服务端的数据通信时，遇到了问题：flex中不能定义namespace变量，而要映射的java类中却有。怎么办？ 这主要涉及到的是RemoteObject的映射方式的问题。是变量名与变量名匹配？还是方法名与方法名匹配？还是一个用变量名一个用方法名，也就一个四种可能了吧。 我当然希望是与java类的变量名匹配，这样改个变量名也没什么工...
2010-01-30 23:03:05
69
原创 写了两周的代码的感悟
好久没有更新博客了，实在是没精力（虽然我一直很亢奋~），但新浪围脖还是经常写写的，谁让它方便呢。月中要忙着复习考试，但手头的项目又催得那么紧，何况还是一个人在战斗，只能分心多进程操作，代码写累了看会儿书复习，复习得枯燥了再写写代码，是不是有点疯狂……最近虽说放假了，但我依然没有闲着，因为上头要进行集成了，我得拼命赶啊，还头一回在家熬了夜。哎，给任务的人只知道要这要那的，哪有说的那么轻便...
2010-01-29 12:57:23
108
原创 flex中画线的点滴
因为做的是服务编排的应用，免不了要把代表服务的节点连接起来。之前实验了在flex里画线，感觉挺方便的。我还为了更方便，自己封装了一个画线的组件类，只要传递两个端点就能画出我想要的箭头。 今天正式要在组件里实现连线了，发现还是挺复杂的。 我遇到的问题是相对坐标问题。因为我要连接的节点是跨容器的，所以肯定要转换坐标。 flex给我们提供了...
2010-01-10 21:48:11
122
原创 从做人感受面向对象
首先申明这题目有点夸大了，其实就是记录一次人际事故，对面向对象的感受是配菜。 事故背景：事情发生在一次项目交流会上，交流会是两方沟通项目进度，双方分别来自两个学校，我当然是其中一方的老师手下的学生了。 事故内容：我在会议结束的时候，主动向对方老师要了通讯方式。 事故回忆：我当时想法很简单，因为对方老师...
2009-12-29 17:09:39
73
原创 初上手Flex
因为项目需要把服务流程编辑器做成B/S模式的应用，但心底里又不想和JS打交道，加上之前就看好flex的强大高效……好，就用它了！ 在对我这flex项目进行完整设计之前，我打算先测试几个关键功能。比如与Java服务端的数据连接、自定义组件、拖放操作之类的。 Flex和Java通过Blazeds进行数据通信的操作很方便，通过AMF进行二进制数据传输感觉比W...
2009-12-28 19:19:08
64
原创 断断续续奋战一天半完成BPEL建模
因为项目需要做一个BPEL的编辑器，所以首先肯定要对BPEL有一定的了解。看着协议上定义了那么多的XML标签，我想动手设计整个工程的“架构”之前，先给这些标签按面向对象建个模吧。于是就画出了下面的类图（图的下面其实还有一小部分，不知为什么从Rose里复制出来，下面缺了一条）： 在设计对象结构的时候，我参考了Eclipse的BPEL插件的源码，不得不感慨一句：专业的就是专业...
2009-12-25 21:36:49
196
WordPress架设日志
WordPress是一个开源的博客系统，使用PHP技术搭建。我打算用它给我们科协建立我们自己的内部博客系统。 服务器上本来就安好了Apache和MySql，所以就省去了它们的安装说明。折腾我一下午的主要是PHP环境的配置。 首先当是下载安装包了，由于我是远程操作，只能先通过ftp把下载在本机的安装包上传到服务器，然后再在服务器上把安装包从ftp空间...
2009-12-13 15:11:57
171
对UDDI的迷茫
早前学习WebService的时候就听说过UDDI这个概念了，当时就只记得它是管理发布的WebService的。随着对WebService的学习深入，知道一般都是通过WSDL来使用服务的，于是就自以为是的认为UDDI服务器就是保存了注册在一个特定服务器上的WSDL地址集，感觉应该就像Axis的管理界面那样类似吧，应该还会有些其他的注册信息。 最近的项目可能要用到UD...
2009-11-23 21:22:23
72
TA创建的收藏夹 TA关注的收藏夹
TA关注的人