fp196391196391-CSDN博客

转载如何做到java线程安全

[b]保证线程安全的三种方法:[/b]不要跨线程访问共享变量使共享变量是final类型的将共享变量的操作加上同步一开始就将类设计成线程安全的, 比在后期重新修复它,更容易.编写多线程程序, 首先保证它是正确的, 其次再考虑性能.无状态或只读对象永远是线程安全的.不要将一个共享变量裸露在多线程环境下(无同步或不可变性保护)多线程环境下的延迟加载需要同步的保护, 因为延

2014-09-23 08:41:36 9468

转载一首程序员才能听得懂的情诗

我能抽象出整个世界．．．　　但是我不能抽象出你．．．　　因为你在我心中是那么的具体．．．　　所以我的世界并不完整．．．　　我可以重载甚至覆盖这个世界里的任何一种方法．．．　　但是我却不能重载对你的思念．．．　　也许命中注定了你在我的世界里永远的烙上了静态的属性．．．　　而我不慎调用了爱你这个方法．．．　　当我义无返顾的把自己作为参数传进这个方法时．．．　　我才

2014-01-24 16:41:53 1178

原创移动端的客户端MVC设计模式思考

关于MVC 设计模式的思考，记录于此，与君共勉。首先，我们大家都非常的熟悉MVC模式，Module,View,Control.绝大多数的人都是很理解他们的含义的，并且也都经常的使用这样的开发模型。正式因为大家那么经常的使用，我才想到去思考MVC模型的本身。第一个问题是我们为什么要MVC？是因为我们在设计过程和编码过程中，发现后台与前端之间交互过于频繁，导致耦合度非常高，并且根本不可能完

2013-12-19 17:06:59 2500

原创相比于过去，我们怎样才算在成长？

大学离我越来越远。在学校的一切荣誉都瞬间抛到了身后，现在我又要重新出发了。回望过去的种种，看看我在人人网上的以前的状态，以前的好友，以前的文章。对比着看到一排排的新鲜事跟我完全没有关系，感觉自己已经脱离这个大学世界好久好久了。真的跟这里好久不见了，物是人非了嘛？程序员就会容易沉浸在自己的世界里，看着电脑，调试着bug的时候，脑子里什么都没有。可是一到了这个时候，到了这样突然的回忆

2013-10-23 19:27:30 846

原创 HBase 表重启故障问题，如何让损坏的storefile加入skipstorefile中

HBase对于数据块有丢失的store做了启动检查的工作，如果通过HDFS发现store所在的block crrupt掉了，或是大小小于0，则该块所对应的Block被自动加入skipstorefile的metrix中。但是如果这个store并未被重新加载过，那么block丢失的信息store并不知道，也就不会被加入到skipstorefile中去，所以这个时候去查询这个store里面的数据，就

2013-09-03 16:12:40 1135

原创淘宝-Hadoop内部海量数据平台服务实现

淘宝-Hadoop内部海量数据平台服务实现威大师！http://www.infoq.com/cn/presentations/hadoop-internal-data-service-platform

2013-04-07 15:22:42 1002

原创 hive的内部表与外部表创建

最近才接触Hive。学到了一些东西，就先记下来，免得以后忘了。1.创建表的语句：Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name

2013-01-08 17:24:02 17355

原创 hadoop 性能调优重要参数设置技巧

这里主要针对Mapreduce的性能调优。这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred

2012-12-16 19:53:24 10562 1

转载 CentOS 本地yum配置

在网上找了很多为CentOS 6配置本地YUM源的方法，其中有很多是与网络相关的，我只想配个自己用的，结果就发现这个方法比较简单实用，就转过来了。环境：CentOS 6.0默认的yum是以网络来安装的，在没有网络或者网速不佳的情况下，通过yum来安装软件是意见非常痛苦的事情。其实对于CentOS DVD来说，里面提供的软件就足以满足我们的需要了，而且DVD里的软件版本都是稳定版，下

2012-12-16 18:06:32 667

原创 Hadoop内核分析之Hadoop文件存储细节

众所周知，我们需要hadoop来分布式存储我们的数据，提高并发和吞吐量，造就了Mapreduce框架的易用性。那对于整个这个过程来说，最开始需要我们认识到的是文件是如何存储在hadoop系统上的。 Hadoop可以分为三个部分，Client端，namenode端和datanode端。他们之间的协作做成了这个庞大的分布式文件系统。文件从客户端这个接口，进入系统，由客户端和nam

2012-06-04 16:07:25 1798

原创 wordcount示例程序运行全过程（Hadoop-1.0.0）

在上一篇文章中，已经提到了配置完成了一个简单的分布式hadoop的hdfs文件系统，下面就需要去运行一下wordcount来了解该文件系统的运行机制。cd到wordcount.java的目录，再此目录下建立一个新的目录：WordCount。然后执行：]$javac -classpath ~/hadoop-1.0.0/lib/*.java:~/hadoop-1.0.0/hadoop-cor

2012-02-27 16:25:37 1354

本人虽未南大软院大三学生，但是对于一些技术还是很有研究的想法的。近日我们的体系结构老师布置了搜索引擎大作业，八个人一组的，我负责爬虫，分布式应用的开发。搞了将近3周，小有所成，于是想上来分享一下经验。 个人认为初学搜索引擎者不要用lucene和heritrixs（忘了怎么拼的了- -~），我用这两个做了个小应用，发现实在是什么都封装好了，根本学不到什么东西。 学习之前可以研究一下国内的一些搜索引擎的常用做法。话说我们的作业有点儿变态（个人认

2010-06-23 16:39:00 758 1

原创搜索引擎的爬虫开发

最近也在CSDN上下了很多爬虫，都感觉不怎么地，又在网上下了web-harvest，发现使用起来怎么就那么不爽呢，在哥多次权衡下，还是决定自己开发一个爬虫，我听我们的互联网程序设计课的老师说，天网的前身其实就是我们南京大学的原来一个搞分布式的老师带着几个学生研究的课题，后来竟然进入了国家什么863计划。后来了解了一下天网，按照一本在2004年出的介绍天网的书上写的那些看来，天网也就一般般。本人虽还是大三学生，但是早已把学业弃之度外，于两周前完成了平生第一个爬虫，开发周期两周，使用了java语言（

2010-06-22 12:29:00 767