- 博客(48)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 CAP原理和BASE思想 ACID模型
分布式领域CAP理论，Consistency(一致性), 数据一致更新，所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容错性) 可靠性定理：任何分布式系统只可同时满足二点，没法三者兼顾。忠告：架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍。关系数据库的ACID模型拥有
2013-01-26 01:42:08
753
原创 Android学习笔记之Android组件之BroadcastReceiver（Android广播机制）
BroadcastReceiver能干什么？首先就说说我们的手机，很肯定的是每个人的手机都会被这样或者那样的手机号码骚扰，这个时候如果我们有个号码黑名单存在我们的手机里（数据库里吧），当接受到来电的时候，可以先匹配数据库，如果匹配到的话，可以做出相应的动作，直接挂断或者静音，不提示就可以了。。。1，首先有个Activity用来发送：通过BroadcastReceiverActivity.t
2013-01-25 22:56:51
3802
原创 java中创建线程的的几种方式
1，继承自Thread类，代码逻辑写在子线程中，需要重写run()方法，主线程里start()就可以了package com.myjava.thread;public class ExtendsThread extends Thread{ private final static int THREAD_NUM = 5; public static voi
2013-01-24 23:00:21
8664
转载 hive优化总结
1.当hive执行join内存溢出时，可以修改hive的配置文件hive-site.xml，增大内存，如下： mapred.child.java.opts -Xmx 1024m2.hive默认建表时的路径也可以在hive-site.xml里配置，如下: hive.metastore.warehouse.dir value >/user/hive/warehouse descript
2013-01-24 21:06:28
4283
原创 android学习之通过handler更新UI的例子
通过handler来更新UI：package com.myandroid.handler;import android.app.Activity;import android.os.Bundle;import android.app.Activity;import android.content.Context;import android.graphics.Can
2013-01-24 16:32:36
927
原创 android学习之Handler实现异步与多线程
简而言之一些比较耗时的操作不要在主线程中等待，而是实现异步加载，比如那些下载的操作，如果文件小，网速快，可能一下也完了。。要是文件大了，网速不给力，势必拖垮主线程，用户体验也差。于是android中使用handler来处理这些事情。xml中定义两个button: android:layout_width="fill_parent" android:layout_he
2013-01-24 15:35:08
992
转载 HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个r
2013-01-24 10:37:19
2915
原创 Apache Mahout 实现的机器学习算法
Mahout实现的机器学习算法集：算法大类算法名称中文名称分类算法Logistic Regression逻辑回归 Bayesian贝叶斯 SVM支持向量机 Perceptron感知器算法 Neural Network神经网络 Random Forests
2013-01-21 13:53:36
2312
原创 android 开发中遇到的ERROR经常长期更新笔记
1，Unable to resolve target 'android-11'一般是导入其他版本的android工程导致：只需要修改project.properties文件的：target=android-xx为合适的版本就好了。2,android library projects cannot be launched工程右键properties 在android选项中将 is lib
2013-01-21 01:51:05
1523
原创 Maven编译HADOOP的common项目报错 。。。exec (compile-proto)。。。
[INFO] Apache Hadoop Annotations ......................... SUCCESS [4.657s][INFO] Apache Hadoop Auth ................................ SUCCESS [1.359s][INFO] Apache Hadoop Auth Examples ...........
2013-01-19 05:37:16
5752
原创 hadoop eclipse 配置
重装系统后有折腾了好久，才搞定。。感觉还是不靠谱。。先记录下hadoop 伪分布式配置：1，hadoop版本hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/bin$ ./hadoop versionHadoop 0.20.2Subversion https://svn.apache.org/repos/asf/hadoop/common
2013-01-19 02:33:59
1022
原创 Hadoop中碰到的一些错误的解决方法
Hadoop 0.20.2安装启动后 jps找不到NameNode 解决方案 单机伪分布式cat hadoop-hadoop-namenode-ubuntu.log:2013-01-19 00:34:55,812 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initializati
2013-01-19 01:33:51
19159
3
转载 微博Cache和web缓存及推拉模式
人人网feed设计 http://news.csdn.net/a/20100726/277273.html新浪微博设计 http://www.slideshare.net/iso1600/cache-4842490新浪杨卫华：谈微博Cache设计 http://john521.iteye.com/blog/779695微博架构与平台安全演讲稿 http://timyang
2013-01-18 23:19:59
2879
转载 memcached全面剖析–5. memcached的应用和兼容程序
memcached全面剖析–5. memcached的应用和兼容程序发表日：2008/7/30作者：长野雅广(Masahiro Nagano)原文链接：http://gihyo.jp/dev/feature/01/memcached/0005前几次的文章在这里：第1次：http://tech.idv2.com/2008/07/10/memcached-001/第2次：h
2013-01-18 23:17:12
772
转载 memcached全面剖析–4. memcached的分布式算法
memcached全面剖析–4. memcached的分布式算法发表日：2008/7/23作者：长野雅广(Masahiro Nagano)原文链接：http://gihyo.jp/dev/feature/01/memcached/0004前几次的文章在这里：第1次：http://tech.idv2.com/2008/07/10/memcached-001/第2次：htt
2013-01-18 23:16:12
672
转载 memcached全面剖析–3.memcached的删除机制和发展方向
memcached全面剖析–3.memcached的删除机制和发展方向下面是《memcached全面剖析》的第三部分。发表日：2008/7/16作者：前坂徹(Toru Maesaka)原文链接：http://gihyo.jp/dev/feature/01/memcached/0003前几次的文章在这里：第1次：http://tech.idv2.com/2008/
2013-01-18 23:15:21
648
转载 memcached全面剖析–2.理解memcached的内存存储
memcached全面剖析–2.理解memcached的内存存储下面是《memcached全面剖析》的第二部分。发表日：2008/7/9作者：前坂徹(Toru Maesaka)原文链接：http://gihyo.jp/dev/feature/01/memcached/0002我是mixi株式会社研究开发组的前坂徹。 上次的文章介绍了memcached是分布式的高
2013-01-18 23:14:23
735
转载 memcached完全剖析–1. memcached的基础
老东西了。。转载过来留着偶尔看下。memcached完全剖析–1. memcached的基础翻译一篇技术评论社的文章，是讲memcached的连载。fcicq同学说这个东西很有用，希望大家喜欢。发表日：2008/7/2作者：长野雅广(Masahiro Nagano)原文链接：http://gihyo.jp/dev/feature/01/memcached/000
2013-01-18 23:12:39
900
原创 lucene3.5报错org.apache.lucene.queryParser.ParseException
org.apache.lucene.queryParser.ParseException: Encountered "" at line 1, column 0.Was expecting one of: ... "+" ... "-" ... "(" ... "*" ... ... ... ...
2013-01-18 15:52:31
5008
原创 cassandra的简单使用
到这里下载：www.apache.org/dyn/closer.cgi?path=/cassandra/1.2.0/环境变量;CASSANDRA_HOME=E:\KAI_FA\Cassandra1.2.0修改配置文件conf下的log4j.appender.R.File=E:/KAI_FA/Cassandra1.2.0/system.log修
2013-01-18 00:40:28
1669
原创 mahout 推荐系统示例
建立java工程，导入需要的jar包准备好测试的数据：D:\text.txt1,101,51,102,31,103,2.52,101,22,102,2.52,103,52,104,23,101,2.53,104,43,105,4.53,107,54,101,54,103,34,104,4.54,106,45,101,4
2013-01-17 23:41:21
7128
2
原创 搜索 推荐系统 聚类 分类 分类器组合之【智能Web算法】笔记
粗略看了下，还没看完，先贴着目录希望能接着读下去一，什么是智能Web二，搜索用Lucene实现搜索 为什么搜索不仅仅是索引用链接分析改进搜索结果PageRank用户点击初探 三，推荐系统基于用户相似的推荐基于条目相似的推荐基于内容的推荐四，聚类：事物的分组(与Sql索引比较)基于分组结构基于数据结构和类型基于数据规
2013-01-17 22:43:08
2415
原创 BloomFilter过滤器过滤算法的简单实现（学习笔记）
BloomFilter主要包括两种操作：add()：添加元素到其中contains()：判断一个元素是否在其中,（没有就是没有，说了有但实际上有可能没有）关于contains()函数：①，如果结果返回false：则元素一定不再其中②，如果返回true，则不一定就在其中，这就是误差BloomFilter实现（m(byte数组的大小)+k（hash次数）+n(需
2013-01-17 02:50:39
2906
转载 Bloom filter 过滤(布隆过滤算法)原理
一，什么是Bloom filter Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员，这种检测只会对在集合内的数据错判，而不会对不是集合内的数据进行错判，这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况，可见 Bloom filte
2013-01-17 02:00:00
6565
转载 数据挖掘十大经典算法
数据挖掘10大算法汇总：一、C4.5 C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。二、The k-means algorithm 即K-M
2013-01-16 01:10:05
1760
原创 网站用户行为分析在用户市场领域的应用
转载自;http://labs.chinamobile.com/mblog/382108_48724【导言】在全球范围内，网站用户行为分析仍然是一门新兴发展的科学，其方法和实践是在近几年才系统理论化的。在实际应用中，网站用户行为分析博得了很多的好奇，但好奇背后，人们也为她注入了各种想象：网站用户行为分析能带来哪些商业价值？哪些用户行为是值得关注的？网站用户行为分析是如何辅助产品运营和营销分
2013-01-14 01:11:36
1724
原创 Maven ERROR hadoop源码mvn工程导入后
hadoop源码mvn工程导入1,Project configuration is not up-to-date with pom.xml. Run Maven-Dependenciesroject>Update Project or use Quick Fix.终于搞定了，项目右键——>【Maven】——>【Update Project ....】,打开一个（Update Maven P
2013-01-13 19:20:58
1676
原创 eclipse maven 编译hadoop源码
需要安装maven3才可以，1，svn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ ./2，mvn install -DskipTests3，mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true
2013-01-13 18:20:12
5714
原创 ubuntu下简单安装maven3
sudo add-apt-repository ppa:natecarlson/maven3 sudo apt-get update && sudo apt-get install maven3 sudo ln -s /usr/bin/mvn3 /usr/bin/mvnsudo ln -s /usr/bin/mvn3 /usr/bin/mvn忽略单元测
2013-01-13 16:39:36
4166
原创 hadoop的源码分析之RPC（Remote Procedure Call Protocol）
理解这个RPC是不是的先去理解哈动态代理 好多invoke，还有Socket网络编程先来张eclipse下IPC源码图： 先来看看RPC.java，既然是动态代理，自然会想到Invoke()方法了，先来看看RPC中的Invoker中的invoke()方法private static class Invoker implements InvocationHandler
2013-01-12 16:49:19
1176
原创 java.lang.SecurityException: Prohibited package
java.lang.SecurityException: Prohibited package name: java.sortat java.lang.ClassLoader.preDefineClass(ClassLoader.java:480)at java.lang.ClassLoader.defineClassCond(ClassLoader.java:626)at java.
2013-01-10 22:39:43
1747
原创 JAVA的Thread局部变量ThreadLocal
ThreadLocal: Thread局部变量-------ThreadLocalVariablejava.lang Class ThreadLocaljava.lang.Object java.lang.ThreadLocalDirect Known Subclasses:InheritableThreadLocalpublic class Threa
2013-01-10 22:15:06
1081
原创 深入浅出K-Means算法
纯转来做学习笔记。。原文地址：http://www.csdn.net/article/2012-07-03/2807073-k-means摘要：在数据挖掘中，K-Means算法是一种 cluster analysis 的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。在数据挖掘中，K-Means算法是一种cluster analysis的算法
2013-01-10 17:14:04
1629
1
原创 android在Activity之间传数据之Intent
FirstActivity.java:package com.android.activity;import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.view.View;import android.view.View.OnC
2013-01-07 15:53:44
847
原创 hadoop工程师要求
记录下：感觉才有点学习方向Hadoop/Hive开发工程师（15K-30K）工作地点：上海、杭州、深圳、北京岗位职责：1. 预研、开发、测试hdfs/mapreduce/hive/hbase的功能、性能和扩展；2. 对有助于提升集群处理能力/高可用性/高扩展性的各种解决方案进行跟踪和落地；3. 解决海量数据不断增长面临的挑战，解决业务需求。
2013-01-07 14:39:09
3522
原创 java设计模式之静态代理模式
代理接口：public interface ProxyInterface {public abstract void action();}真实角色：public class RealObject implements ProxyInterface{@Overridepublic void action() {// TODO Auto-generated met
2013-01-07 03:15:31
958
原创 java设计模式之单例模式
第一种形式: 定义一个类，它的构造函数为private的，它有一个static的private的该类变量，在类初始化时实例话，通过一个public的getInstance方法获取对它的引用,继而调用其中的方法。这种方式每次都需要new一个实例：public class Singleton {private static Singleton singleton = new Si
2013-01-07 02:22:50
1166
原创 mapreduce的文件拆分，FileInputFormat
在map之前会对要处理的文件进行拆分，按照定义的格式进行都写操作。主要是在InputFormat中，InputFormat是一个抽象类，主要有两个抽象方法：1， public abstract List getSplits(JobContext context) throws IOException, InterruptedException;确认输入的且分原则2， pub
2013-01-05 23:44:10
8136
转载 自定义hadoop map/reduce输入文件切割InputFormat
自定义hadoop map/reduce输入文件切割InputFormat 2012-12-05 19:52:29| 分类：hadoop | 标签：自定义 hadoop map/reduce inputformat |字号大中小 订阅 hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInpu
2013-01-05 18:10:24
1668
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人