- 博客(29)
- 收藏
- 关注
原创 joda-time遇到的坑
第一篇Java博文,纪念一下,还想声明下:这是我遇到的坑,不代表其他人。1、pattern解析使用joda time遇到坑,做pattern解析时间: System.out.println(DateTime.parse("2015092408", DateTimeFormat.forPattern("yyyyMMddHH")).getMillis());
2015-09-25 16:37:32 1409
转载 taglist VIM
1.下载taglisthttp://www.vim.org/scripts/script.php?script_id=273内部有用的只是taglist.vim文件2.在HOME目录下建立.vim文件夹cp -r taglist.vim ~/.vim/plugin3.修改.vimrclet Tlist_Show_One_File=1let Tlist_Exit_
2014-11-11 14:08:42 733
原创 storm简介
Storm介绍—专注实时计算(stream流处理)一、基本概念1.1 集群角色介绍名称描述数量Nimbus管理节点 1SuperVisor计算节点 NZookeeper消息集群注意:storm里面的zookeper并不是用来
2014-09-12 10:07:20 859
原创 教你写map-reduce--lesson1
MapReduce介绍-基础篇一、基础概念1.1 前言MAP:映射Reduce:聚合 MapReduce是一种数据处理编程模型(google并行计算框架)1.2 Mapreduce组件名描述数量JobTrackerMapreduce任务管理器1
2014-09-12 10:03:52 703
原创 叫你写mapreduce--lesson2
MapReduce第二节 还记得上一节的一个mr例子吗,对文件进行排序#bin/hadoop jarcontrib/streaming/hadoop-streaming-1.2.1.jar -D mapred.compress.map.output=truemapred.job.reuse.jvm.num.tasks=4 -input/wolf1 -output /wolf2 -ma
2014-09-12 10:03:29 1301
转载 什么样的大数据才是有意义的?
我们需要的不仅是数据,还有数据的前因后果和背景知识。 7月9日,美国《连线》杂志近日刊登了一篇关于大数据的评论文章。作者认为,如果缺乏对人们现实生活的实地调查,大数据没有什么意义。 在短短的几十年里,“技术天才”与社会的关系已经改变:他们从关在屋里的孤独者变成救世主,从反社会者变成社会的最大希望。许多人现在似乎相信,理解我们这个世界的最佳方式,就
2014-09-03 11:35:25 898
转载 Maven 中文编译
在POM文件中包含如下内容: UTF-8 经反复试验和分析,发现这跟Maven版本有关。Maven3和Maven2版本变化不小,不完全兼容。 具体解决方法说明如下: 在确认POM文件中已有上述内容的前提下,增加以下内容(如已包含maven-compiler-plugin的相关内容,则只需在相应位置增加红色字体部分内容):
2014-05-20 14:48:25 5186 1
翻译 hbase优化相关参数说明
1、hbase.regionserver.handler.countRegionServers处理远程请求的线程数,如果注重TPS,可以调大,默认10 note1:值设得越大,意味着内存开销变大,hbase.client.write.buffer * hbase.regionserver.handler.count,hbase.client.write.buffer默认大小为
2014-03-23 14:39:21 3085
翻译 使用AST树
第五章、使用AST树中间结果来计算表达式值现在我们已经知道,通过创建ANTLR 语法文件 以及添加一些动作来实现一个“转换器”,这一章节将介绍另外一种方式来实现同样的功能,这需要额外用到一些树结构。我们将使用相同的grammar语法来创建一个中间数据结果,只是用树的创建规则来替换我们之前添加的一些动作。一旦,我们有了树结构,就可以用树解析器来解析树,并且执行一些动作。ANTLR将会从gra
2013-12-02 22:39:50 6997
原创 写给我自己
还记得两年前,天很蓝,时间很漫长,等待毕业的日子确实无所事事,临近时刻,酒桌上的交错,才意识到,我们要天各一方,终将走向自己的生活。但总的说来,步入社会的新鲜感,感觉向秋天的早晨,有期待。 两年,可以改变很多,新鲜人变成“一份子”,至少看上去,我们都成了各自所在地方的一份子。走入这一行,尤其是“程序员”,生活简单的可以,甚至我们都忽略了自己的生活,白天、黑夜,有多久没晒过阳光。 两年也
2013-10-16 21:35:24 761
翻译 用ANTLR3实现规则解析----2-grammar概览
一、开始我们的grammar文件让我们开始第一个antlr的grammar文件,最常见antlr grammar 是一个结合词法分析规则(lexer)、语法分析规则(parser)的表达式。这些规则指定了一个表达式的语法结构和词法结构。举例说明:一个赋值表达式(x=y)是由一个标识(这里是x) ,紧跟着一个赋值符号(=),再紧跟一个表达式(y),最后以换行符结束。定义antlr g
2013-06-23 23:18:57 3019
原创 用ANTLR3实现规则解析----1-安装
1、安装antlr3.4 运行环境 首先从antlr官网下载处,获取了libantlr3c-3.4.tar.gz下载包 按照install文件的说明的安装步骤执行安装 #1 ./configure #2 make; 这一步报错/usr/include/gnu/stubs.h:7:27: error: gnu/stubs-32.h: No such file or d
2013-06-23 13:12:38 8431 2
转载 python2.7.5安装---zlib死活装不上的解决办法
安装zlib-1.2.3.tar.gztar -zxvf zlib-1.2.3.tar.gz./configure然后 vi Makefile找到 CFLAGS=-O3 -DUSE_MMAP在后面加入-fPIC,即变成CFLAGS=-O3 -DUSE_MMAP -fPIC接下面步骤makemake install,然后在编译安装python即可。
2013-06-07 22:53:22 6439
原创 hadoop遇到的问题记录
1、jobtracker启动不正常报错、hdfs无法使用(比如执行一个操作文件命令就报错:only be replicated to 0 nodes, instead of 1) 2012-07-23 00:00:05,244 WARN org.apache.hadoop.mapred.JobTracker: Retrying... 2 2012-07-23 00:00:0
2013-02-25 21:17:43 17081
原创 eclipse中配置hadoop开发环境-----删除之前版本的hadoop插件、编译hadoop eclipse插件、安装插件、eclipse下运行hadoop程序
一、删除hadoop插件(如果你已经装一个hadoop版本相应的插件)1、到eclipse安装目录下的\plugins文件夹中刷出 hadoop的插件2、删除到eclipse安装目录下的\configuration\org.eclipse.update文件夹3、启动eclipse4、如果左上角有map/reduce图标,点击---> close5、关闭eclipse,删除到ec
2013-02-24 22:52:09 3101
翻译 hadoop1.1.1安装
hadoop1.1.1集群安装1、下载安装包 下载hadoop安装包,拷贝并解压到集群所有机器上 集群里面机器分两个角色:masters(管理机)、slaves(从机器),masters主要运行两个资源管理进程:namenode(文件管理)、JobTracker(作业管理),集群只能有一个管理进程。slaves机器上必须有两个进程:datanode(文件存储)、T
2013-02-23 12:42:40 1323
原创 图的应用---知行合一,连连看小游戏
图算法相关文章是上个月写的,但是现在回过头看,确感觉有点生疏了。作为一名程序员,可能一辈子用别人封装好的算法模块,就足够了。工作中运用不到,虽然一时学习了,但久了就生疏了。所以,今天想在博客,与大家探讨下,我的目标不是要生硬的学习的什么牛逼算法,希望能够简单的展示、学习好玩的创意。一、广度优先搜索的应用1、连连看小游戏 玩过连连看游戏的都知道,都知道连连看的游戏规则,点击两个相同的图
2013-01-12 21:59:07 1301 1
原创 图算法---每对顶点间最短路径
前言:在前面的单源算法中,假定采用图的邻接表表示法。于此不同,本章中的大多数算法均采用邻接矩阵表示法。为方便起见,假设顶点编号为1,2,3,4,....|V|。于是我们用一个n*n的矩阵W,表示有n个顶点的有向图G=(V,E)中边的权值。其中 0 如果i = j Wij = 有向边(i,j)的权值 如果i != j
2012-11-23 23:16:10 2676
转载 python闭包 unboundLocalError错误解决----转载
http://wiki.jerrypeng.me/python-scoping-rules.html从Closure到Python的作用域规则Closure(闭包)是函数式编程(FP)的核心概念之一,然而在很长一段时间之内我都以为它是指匿名函数,直到最近看《Practical Common Lisp》,才发现之前对它的理解是错误的。随后在熟悉的语言中对其做了一些探索,发现了一些之前不曾了解
2012-11-15 15:11:43 2293
原创 图算法---单源最短路径
开篇写了几篇记录学习图算法,Want先生很不耐烦的提出了自己的问题:他妈的,你扯了那么多算法,我的要求很简单,告诉我从点s到点v有几条路可以到达?其中那条路妹子最多?他妈的要是我敢时间那条路最快?或许这篇文章可以回答want先生的问题,当然也有许多aspire先生,你写的这些文章对我一点用都没有,我希望的文章是能直接解决我遇到的问题,对此,我很抱歉,希望你能找到灵感,看到一坨屎也能产生灵感
2012-11-14 21:10:28 2748 1
原创 图算法--最小生成树
最小生成树什么是生成树? (百度定义)在一个具有几个顶点的无向连通图G中,如果存在子图G'包含G中所有顶点和一部分边,且不形成回路,则称G'为图G的生成树。什么是最小生成树? 对于无向连通图G = (V,E),E中的边有其权重值映射:w(e),如果某生成树G'具有最小权重和,则称G'为最小生成树。相关最小生成树性质(或者数学理论基础)1、相关概念割:无向图G = (V,E)
2012-11-05 23:00:19 1760
原创 图基本算法介绍:广度优先搜索、深度优先搜索、拓扑排序、强连通分支(算法篇)
一、广度优先搜索 什么是广度优先搜索? 在给定图G=(V,E)后和一个特定的源顶点s的情况下,广度优先搜索,系统的探索G中的边,以期发现从s可以到达的所有顶点,并计算s到所有这些可达顶点之间的距离(即最少的边数) 广度优先搜索的作用?个人从定义理解就是,计算出s可以到达的所有顶点,并且计算出到这些顶点的距离(最短路径上的边数,如果边没有权重,这个结果将更有意义)。另一方面,
2012-11-03 18:10:11 5184 1
原创 图基本算法介绍:广度优先搜索、深度优先搜索、拓扑排序、最强连通分支(概念篇)
算法导论中关于图的几个基本概念: 图的定义:图G可表示成(V,E),V是有穷集,E是v上的二元关系。V集是G的顶点集合,他的元素为顶点。E是G的边集合,他额元素称为边。 有向图:边集E是由有序顶点对组成,有向图可以有自身环 无向图:边集E是由无序顶点对组成,无向图无自身环 【相邻】:如(u,v)是图G=(V,E)的一条边,则称顶点v与顶点u相邻
2012-10-28 15:40:45 1256
原创 linux菜鸟事件?
<br /> 差不多是今年二月份开始学习Linux,一开始的参考书就是本很花哨的《Linux程序设计》俩英国人写的,但是最近两个星期在公司培训,发现自己懂的太少,用的太少,而且各位前辈讲的是最基础的,但我相信每天进步一点,定会走向成功。<br /> 1、关于Linux虚拟机与putty连接的问题。<br /> 进一步分解其实就是怎样将Linux网络连接设为host-only<br /> 1、 首先设置网卡连接类型---点解右下角网卡--点击设置为host-only---
2011-04-03 21:13:00 466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人