- 博客(56)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 Android WebKit 内核
一、WebKit简介WebKit是一个开源的浏览器网页排版引擎，包含WebCore排版引擎和JSCore引擎。WebCore和JSCore引擎来自于KDE项目的KHTML和KJS开源项目。Android平台的Web引擎框架采用了WebKit项目中的WebCore和JSCore部分，上层由Java语言封装，并且作为API提供给Android应用开发者，而底层使用WebKit核心库（WebCore
2013-12-30 18:55:41
1212
转载 Mahout Bayes分类
实现包括三部分：The Trainer（训练器）、The Model（模型）、The Classifier（分类器）1、训练首先，要对输入数据进行预处理，转化成Bayes M/R job读入数据要求的格式，即训练器输入的数据是KeyValueTextInputFormat格式，第一个字符是类标签，剩余的是特征属性（即单词）。以20个新闻的例子来说，从官网上下载的原始数据是一个分类目录，下面
2013-12-30 12:20:04
950
hbase 表重命名
hbase shell> disable 'tableName'hbase shell> snapshot 'tableName', 'tableSnapshot'hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'hbase shell> delete_snapshot 'tableSn...
2013-12-29 12:06:40
260
原创 HBase 快照操作
1.配置hbase-site.xml hbase.snapshot.enabled true 2.创建快照 hbase> snapshot 'myTable', 'myTableSnapshot-122112' hbase>list_snapshots 3.删除快照delete_snapshot 'myTableSnapshot-122112'4.克隆快照hbas
2013-12-29 05:25:11
1714
原创 HBase表重命名
hbase shell> disable 'tableName'hbase shell> snapshot 'tableName', 'tableSnapshot'hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'hbase shell> delete_snapshot 'tableSnapshot'hbase shell
2013-12-29 05:18:34
3844
原创 HBase集群部署脚本
#!/bin/bash# Sync HBASE_HOME across the cluster. Must run on master usingHBase owner user.HBASE_HOME=/usr/local/hbase/currentfor rs in `cat $HBASE_HOME/conf/regionservers`doecho "Deploying
2013-12-29 05:11:51
1045
原创 hbase 集群管理脚本
#!/bin/bash# Show all running Java processes on region servers. Must run onmaster using HBase owner user.JAVA_HOME=/usr/local/jdk1.6HBASE_HOME=/usr/local/hbase/currentIFS=$'\n'printf "+---
2013-12-29 05:10:34
765
原创 Hbase replication操作
1.修改hbase-site.xml文件 hbase.replication true2.同步数据改变,重启hbase集群3.创建备份表hbae>create 'reptable1', { NAME => 'cf1', REPLICATION_SCOPE =>1}3.hbase> add_peer '1', 'l-master1:2181:/hbase'4.
2013-12-29 05:08:57
1035
转载 HBase replication
Hbase Replication 介绍现状 Hbase 的replication目前在业界使用并不多见，原因有很多方面，比如说HDFS目前已经有多份备份在某种程度上帮助HBASE底层数据的安全性，而且很多公司的集群规模比较小并且对数据重要程度并不是很高，比如一些日志系统或者是作为一个历史数据的第二个仓库，来分流大量的读请求。这样及时数据丢失了也可以在其他的地方（数据库集群）中找回
2013-12-29 04:48:57
1199
原创 Hbase 备份的方式
HBase 备份的方式有三种：1.下线备份 （1）停止集群。 （2）Distcp (3)restore2.在线备份 -replication 3.在线北大 -CopyTable 4.在线备份-Export
2013-12-29 04:43:31
940
原创 Hbase节点管理
1.退役节点 shell>balance_switch false 然后，hbase-daemon.sh stop regionserverdfs.datanode.failed.volumes.tolerated > 0
2013-12-29 04:31:25
1987
原创 HBase提供的工具
1 .压缩测试工具 hbase org.apache.hadoop.hbase.util.CompressionTest 1G数据不同的压缩算法得到的结果+--------------------+--------------+| MODIFIER | SIZE (bytes) |+--------------------+--------------+
2013-12-29 03:47:17
2398
原创 HBase 健康检查工具
在HBase运维中 最常用的工具就是hbck. 查看整个集群的表状况。如果region很多，建议慎重使用，会比较慢，而采用（3）。（1）hbase hbck 详细显示集群状况。 (2)hbase hbck -details 显示指定表的状况。 (3) hbase hbck testtable1 testtable2 定位问题。 (
2013-12-29 03:07:18
4688
原创 HBase Canary
HBase Canary 用于检测HBase 系统的状态。它对指定表的每一个region 抓取一行，来探测失败或者延迟。 hbase org.apache.hadoop.hbase.tool.Canary -help Usage: bin/hbase org.apache.hadoop.hbase.tool.Canary [opts] [table1 [table2].
2013-12-29 02:34:18
3884
1
原创 HBase Bulk Loading
将数据导入到HBase有三种方式：（1） Mapreduce，输出为TableOutputFormat.(2) 用HBase API .(3)Bulk Loading。对于大量的数据入库，第三种数据是最为有效的。 下图描述了Bulk Loading的过程：先将数据（MySQL ,Oracle ，文本文件等）加载到HDFS,通过MapReduce 将数据做成HFile (HFileOutPut
2013-12-29 02:11:07
1739
转载 HBase 运维分析
问题分析的主要手段1、监控系统：首先用于判断系统各项指标是否正常，明确系统目前状况2、服务端日志：查看例如region移动轨迹，发生了什么动作，服务端接受处理了哪些客户端请求。3、gc日志：gc情况是否正常4、操作系统日志和命令：操作系统层面、硬件是否故障，当前状况如何5、btrace：实时跟踪目前服务端的请求和处理情况6、运维工具：通过内置于系统中的功能，查看服务器实时处
2013-12-29 00:06:23
1211
原创 HBase rest
HBase Rest 是建立在HBase java 客户端基础之上的，提供的web 服务。它存在的目的是给开发者一个更多的选择。1.启动rest 服务 （1）hbase rest start 用默认的方式启动rest服务，端口是8080。 （2）hbase rest start 8585 这种方式以端口8585方式启动。 （3）
2013-12-28 23:26:11
3640
原创 hbase mlockall
mlockall头文件：#include 函数原型：int mlockall(int flags);flags: MCL_CURRENT ——Lock all pages which are currently mapped into the address space of the process. MCL_FUTURE ——— Lock all pa
2013-12-28 22:18:48
1311
原创 Jamon
1.Jamon java 模版引擎 eclipse 插件 http://www.jamon.org/eclipse/updates2.Jamon 官方网站 http://www.jamon.org/3.hbase web 监控界面就是用它做的模版引擎
2013-12-28 22:02:13
792
原创 java 调用JRuby
1.corepackage vanilla;import org.jruby.embed.ScriptingContainer;public class HelloWorld { private HelloWorld() { ScriptingContainer container = new ScriptingContainer();
2013-12-28 21:39:17
1513
原创 hbase thrift 访问队列
public class CallQueue implements BlockingQueue { private static Log LOG = LogFactory.getLog(CallQueue.class); private final BlockingQueue underlyingQueue; private final ThriftMetrics metri
2013-12-28 20:59:32
1051
翻译 hbase thrift 定义
/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regardi
2013-12-28 20:40:32
1313
原创 thrift实现HDFS文件操作
thrift 文件如下namespace java com.pera.file.transformstruct File{ 1:string path , 2:string content,}service FileTransform { bool exists(1:string path), void mkdir(1:st
2013-12-16 14:50:42
1201
转载 软件工程师 Book
一、软件工程师 --Clean Code《代码整洁之道》 --Implementation Patterns《实现模式》 --Code Complete《代码大全》 --Refactoring: Improving the Design of Existing Code《重构——改善既有代码的设计》 --Effective Java（第二版） --Head First De
2013-12-12 22:28:39
761
Prefix tree
Prefix treeThe trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simplest form it can be used as a list of keywords or...
2013-12-08 11:38:57
124
Mahout系列----MinHash聚类
Map: Vector featureVector = features.get(); if (featureVector.size() < minVectorSize) { return; } // Initialize the MinHash values to highest for (int i = 0; i < numH...
2013-12-05 16:01:37
216
Mahout系列----谱聚类
1.构造亲和矩阵W 2.构造度矩阵D 3.拉普拉斯矩阵L4.计算L矩阵的第二小特征值(谱)对应的特征向量Fiedler 向量5.以Fiedler向量作为kmean聚类的初始中心,用kmeans聚类亲和矩阵 ：W_ij=exp(-(d(s_i,s_j)/2o^2)) d(s_i,s_j) = ||s_i,s_j||. o 为事先设定的参数。度矩阵...
2013-12-05 09:30:57
165
转载 jvm内存查看与分析工具
2.3 JVM的垃圾收集策略 GC的执行时要耗费一定的CPU资源和时间的，因此在JDK1.2以后，JVM引入了分代收集的策略，其中对新生代采用"Mark-Compact"策略，而对老生代采用了“Mark-Sweep"的策略。其中新生代的垃圾收集器命名为“minor gc”，老生代的GC命名为"Full Gc 或者Major GC".其中用System.gc()强制执行的是Full Gc.
2013-12-04 16:10:19
770
转载 JVM内存模型及垃圾收集策略解析
JVM内存模型是Java的核心技术之一，之前51CTO曾为大家介绍过JVM分代垃圾回收策略的基础概念，现在很多编程语言都引入了类似Java JVM的内存模型和垃圾收集器的机制，下面我们将主要针对Java中的JVM内存模型及垃圾收集的具体策略进行综合的分析。一 JVM内存模型1.1 Java栈Java栈是与每一个线程关联的，JVM在创建每一个线程的时候，会分配一定的栈空间给线程。它主要用
2013-12-04 16:07:18
643
原创 CopyOnWriteArrayList
除了加锁外，其实还有一种方式可以防止并发修改异常，这就是将读写分离技术（不是数据库上的）。先回顾一下一个常识：1、JAVA中“=”操作只是将引用和某个对象关联，假如同时有一个线程将引用指向另外一个对象，一个线程获取这个引用指向的对象，那么他们之间不会发生ConcurrentModificationException，他们是在虚拟机层面阻塞的，而且速度非常快，几乎不需要CPU时间。2、J
2013-12-04 15:29:42
686
转载 Herriot
Herriot测试框架是Hadoop-0.21.0及以后版本中新加入的测试框架，它的出现主要是为了尽可能地模拟真实的大规模分布式系统，并且对该系统实现自动化测试。和Hadoop以前的测试框架MiniDFSCluster类似，Herriot也采用了JUnit框架，此外，Herriot还引入了面向切面编程(AOP)技术-AspectJ，实现了代码注入和错误注入，丰富了测试的内容。上图是采用Herr
2013-12-04 01:31:34
959
原创 Prefix tree
Prefix treeThe trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simplest form it can be used as a list of keywords or
2013-12-04 01:10:02
1115
转载 hadoop 测试框架
hadoop 0.21以前的版本中（这里拿0.20为例，其他版本可能有少许不同），所有的测试相关代码都是放置在${HADOOP_HOME}/src/test下，在该目录下，是按照不同的目录来区分针对不同模块的测试代码。这里需要了解的是：对于相应的hadoop代码和class的包结构，在test中也是以相同的包结构来管理。比如，对于org.apache.hadoop.hdfs.server.name
2013-12-04 01:01:50
999
转载 Hadoop RPC
hadoop rpc机制 && 将avro引入hadoop rpc机制初探1 RPCRPC(Remote Procedure Call)——远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。2 hadoop.ipc2.1 ServerRPC Server实现了一种抽象的RPC服务，同时提供Call队列。Ø RPC Server结构
2013-12-04 00:52:35
729
转载 HFile
HFile存储格式HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括两种文件类型：1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile2. HLog File，HBase中WAL（Write Ahead Log）
2013-12-04 00:48:00
762
转载 hbase介绍
一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop be
2013-12-04 00:46:26
656
jfreechart API
2010-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人