明确目标

新来工作,感觉更多的是偏向于工程上的应用,活虽然都是碎活,但是每天要想把这些活做好,也是很费精神的。好久没时间看数看文章看算法了。因此,要列一个短期和长期的目标,也算是给自己的将来发展定个方向。 平时工作上要尽可能好、快地完成。要多思考,多想想如何能利用有效的算法模型去改善现有

2011-08-31 09:54:26

阅读数:437

评论数:0

java

java的使用中,你会发现原来越用越觉得不好用,感觉java的很多东西还是没有C++灵活。

2011-08-30 18:07:18

阅读数:364

评论数:0

map reduce

题外话,非常想家,表弟过来住几天回家了,他一走我就开始想家了,非常想家,没这么脆弱过的。 转入正题: hadoop上,map完成了数据的处理和过滤,map的输出是reducer,combiner的输入,而后把由map过滤后的数据通过combiner和reducer可以把相同k

2011-08-29 13:30:05

阅读数:418

评论数:0

mapreduce

今天写了个程序,怎么着都调试出错,说是输出的数据格式不对。我查看了mapper中,确实格式没错阿。后来才看到是我的job中设置成了mapwritable,而我的mapper中用的是intwritable格式,因此出现了冲突。 这个东东的使用看来不是那么简单的,参数设置和中间ma

2011-08-24 16:07:16

阅读数:683

评论数:1

IntWritable, int

今天搞定了ubuntu下安装ie浏览器,真是不可亲阿。 另外,在mapreduce中,values的处理,IntWritable是一个对象,而如果想要用int参加计算,那么我们需要调用IntWritable对象的一个成员get(),这个函数返回int.

2011-08-19 15:26:30

阅读数:10065

评论数:1

int string之相互转换,java

来自:http://www.7880.com/info/Article-53819040.html 1 如何将字串 String 转换成整数 int?   A. 有两个方法:  1). int i = Integer.parseInt([String]); 或

2011-08-18 14:09:47

阅读数:518

评论数:0

java substring

java中确实有不少比C/C++方便的地方,比如字符串操作中,你可以用substring随意截取中间的字符串,感觉很好用。

2011-08-12 10:12:52

阅读数:431

评论数:0

分布式计算

分布式计算,原来涉及到的都是一些简单的算法实现和测试,现在要在hadoop上跑模型,当然内部的很多东西自己仍然是捉摸不透的,所以不敢贸然下手。这是我的一个特点吧,对黑盒子似地东西,不敢随便动手。 是不是所有的算法都适合分布式系统上跑,这种分布式的计算方式对模型的效果有什

2011-08-11 10:19:10

阅读数:378

评论数:0

hbase的N多猜测

hbase由于要创建表格,添加数据,更新数据,所以遇到了些困惑。 创建表格,添加数据没有问题了,可更新数据难住了我。我参考别人的代码,用java在hadoop下写的。其中更新和添加数据代码是一样的方式,我就纳闷了。问了一位同事,他不了解,不好意思总是打扰写代码的那位,尤

2011-08-09 17:38:17

阅读数:436

评论数:0

调试

当在分布式系统上运行任务时,有了错误了,要学会看jobtasktracker,点击进去map reduce中,就可以看到出错提示信息。从而再回来调试程序。 再者,java中,一个变量右键单击reference,workplace,然后可以看到该变量出现的类。

2011-08-08 17:34:34

阅读数:384

评论数:0

学会调试程序

hadoop下如果输出目录已经有了,是会报错的。这也是为了保证数据不被覆盖掉,安全期间设置的一个机制。 我发现我过了个周末,把自己学的hadoop的知识全当饭吃掉了

2011-08-08 14:14:09

阅读数:401

评论数:0

scp

题外话,听说这几天魔都要有台风,小区里都已经开始宣传安全知识了。希望别来台风啊,怪吓人的。 今天再来说说scp吧,不过也不算是原创,拷贝别人的过来。 from:http://blog.csdn.net/imzkz/article/details/5414546

2011-08-05 12:01:03

阅读数:538

评论数:0

strategy, formula

今天又学会了两个新东西,其实如果你一点概念没有的话,你是没办法去理解很多东西的。眼看着代码,就是感觉像在读字母,一个一个拼,可具体是什么意思,我才不知道。 于是,问了代码牛人,才知道原来是java的strategy, formula的用法。牛人给我讲了一大堆,我就没明白

2011-08-04 15:50:04

阅读数:391

评论数:0

提高自己

今天突然觉得自由又回到零点了…… 悲剧地发现我已经快麻烦了……

2011-08-04 13:15:39

阅读数:310

评论数:0

java split的用法

转自:http://hi.baidu.com/weiyousheng/blog/item/5401e80e6221ffec37d12273.html/cmtid/f82e51e9b33e1630b80e2de9 真实来源是:http://hi.baidu.com/%CC%EC%

2011-08-03 18:06:16

阅读数:431

评论数:0

hadoop 调用 user home的使用

今天从新跑一个小东西,别人的程序,可今天跑起来却出现问题。最后对比历史记录才发现是目录不对,输出目录我在分布式上用的是 home,正确的应该是user。 这个主要是我一直没有弄明白home和user的区别。我不明白在hadoop下我用的home和user有什么区别,是l

2011-08-01 13:24:15

阅读数:552

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭