- 博客(56)
- 资源 (9)
- 收藏
- 关注
转载 Android WebKit 内核
一、WebKit简介WebKit是一个开源的浏览器网页排版引擎,包含WebCore排版引擎和JSCore引擎。WebCore和JSCore引擎来自于KDE项目的KHTML和KJS开源项目。Android平台的Web引擎框架采用了WebKit项目中的WebCore和JSCore部分,上层由Java语言封装,并且作为API提供给Android应用开发者,而底层使用WebKit核心库(WebCore
2013-12-30 18:55:41 1213
转载 Mahout Bayes分类
实现包括三部分:The Trainer(训练器)、The Model(模型)、The Classifier(分类器)1、训练首先,要对输入数据进行预处理,转化成Bayes M/R job读入数据要求的格式,即训练器输入的数据是KeyValueTextInputFormat格式,第一个字符是类标签,剩余的是特征属性(即单词)。以20个新闻的例子来说,从官网上下载的原始数据是一个分类目录,下面
2013-12-30 12:20:04 951
hbase 表重命名
hbase shell> disable 'tableName'hbase shell> snapshot 'tableName', 'tableSnapshot'hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'hbase shell> delete_snapshot 'tableSn...
2013-12-29 12:06:40 261
原创 HBase 快照操作
1.配置hbase-site.xml hbase.snapshot.enabled true 2.创建快照 hbase> snapshot 'myTable', 'myTableSnapshot-122112' hbase>list_snapshots 3.删除快照delete_snapshot 'myTableSnapshot-122112'4.克隆快照hbas
2013-12-29 05:25:11 1715
原创 HBase表重命名
hbase shell> disable 'tableName'hbase shell> snapshot 'tableName', 'tableSnapshot'hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'hbase shell> delete_snapshot 'tableSnapshot'hbase shell
2013-12-29 05:18:34 3845
原创 HBase集群部署脚本
#!/bin/bash# Sync HBASE_HOME across the cluster. Must run on master usingHBase owner user.HBASE_HOME=/usr/local/hbase/currentfor rs in `cat $HBASE_HOME/conf/regionservers`doecho "Deploying
2013-12-29 05:11:51 1046
原创 hbase 集群管理脚本
#!/bin/bash# Show all running Java processes on region servers. Must run onmaster using HBase owner user.JAVA_HOME=/usr/local/jdk1.6HBASE_HOME=/usr/local/hbase/currentIFS=$'\n'printf "+---
2013-12-29 05:10:34 766
原创 Hbase replication操作
1.修改hbase-site.xml文件 hbase.replication true2.同步数据改变,重启hbase集群3.创建备份表hbae>create 'reptable1', { NAME => 'cf1', REPLICATION_SCOPE =>1}3.hbase> add_peer '1', 'l-master1:2181:/hbase'4.
2013-12-29 05:08:57 1036
转载 HBase replication
Hbase Replication 介绍现状 Hbase 的replication目前在业界使用并不多见,原因有很多方面,比如说HDFS目前已经有多份备份在某种程度上帮助HBASE底层数据的安全性,而且很多公司的集群规模比较小并且对数据重要程度并不是很高,比如一些日志系统或者是作为一个历史数据的第二个仓库,来分流大量的读请求。这样及时数据丢失了也可以在其他的地方(数据库集群)中找回
2013-12-29 04:48:57 1200
原创 Hbase 备份的方式
HBase 备份的方式有三种:1.下线备份 (1)停止集群。 (2)Distcp (3)restore2.在线备份 -replication 3.在线北大 -CopyTable 4.在线备份-Export
2013-12-29 04:43:31 941
原创 Hbase节点管理
1.退役节点 shell>balance_switch false 然后,hbase-daemon.sh stop regionserverdfs.datanode.failed.volumes.tolerated > 0
2013-12-29 04:31:25 1989
原创 HBase提供的工具
1 .压缩测试工具 hbase org.apache.hadoop.hbase.util.CompressionTest 1G数据不同的压缩算法得到的结果+--------------------+--------------+| MODIFIER | SIZE (bytes) |+--------------------+--------------+
2013-12-29 03:47:17 2399
原创 HBase 健康检查工具
在HBase运维中 最常用的工具就是hbck. 查看整个集群的表状况。如果region很多,建议慎重使用,会比较慢,而采用(3)。(1)hbase hbck 详细显示集群状况。 (2)hbase hbck -details 显示指定表的状况。 (3) hbase hbck testtable1 testtable2 定位问题。 (
2013-12-29 03:07:18 4689
原创 HBase Canary
HBase Canary 用于检测HBase 系统的状态。它对指定表的每一个region 抓取一行,来探测失败或者延迟。 hbase org.apache.hadoop.hbase.tool.Canary -help Usage: bin/hbase org.apache.hadoop.hbase.tool.Canary [opts] [table1 [table2].
2013-12-29 02:34:18 3886 1
原创 HBase Bulk Loading
将数据导入到HBase有三种方式:(1) Mapreduce,输出为TableOutputFormat.(2) 用HBase API .(3)Bulk Loading。对于大量的数据入库,第三种数据是最为有效的。 下图描述了Bulk Loading的过程:先将数据(MySQL ,Oracle ,文本文件等)加载到HDFS,通过MapReduce 将数据做成HFile (HFileOutPut
2013-12-29 02:11:07 1741
转载 HBase 运维分析
问题分析的主要手段1、监控系统:首先用于判断系统各项指标是否正常,明确系统目前状况2、服务端日志:查看例如region移动轨迹,发生了什么动作,服务端接受处理了哪些客户端请求。3、gc日志:gc情况是否正常4、操作系统日志和命令:操作系统层面、硬件是否故障,当前状况如何5、btrace:实时跟踪目前服务端的请求和处理情况6、运维工具:通过内置于系统中的功能,查看服务器实时处
2013-12-29 00:06:23 1212
原创 HBase rest
HBase Rest 是建立在HBase java 客户端基础之上的,提供的web 服务。它存在的目的是给开发者一个更多的选择。1.启动rest 服务 (1)hbase rest start 用默认的方式启动rest服务,端口是8080。 (2)hbase rest start 8585 这种方式以端口8585方式启动。 (3)
2013-12-28 23:26:11 3641
原创 hbase mlockall
mlockall头文件:#include 函数原型:int mlockall(int flags);flags: MCL_CURRENT ——Lock all pages which are currently mapped into the address space of the process. MCL_FUTURE ——— Lock all pa
2013-12-28 22:18:48 1311
原创 Jamon
1.Jamon java 模版引擎 eclipse 插件 http://www.jamon.org/eclipse/updates2.Jamon 官方网站 http://www.jamon.org/3.hbase web 监控界面就是用它做的模版引擎
2013-12-28 22:02:13 793
原创 java 调用JRuby
1.corepackage vanilla;import org.jruby.embed.ScriptingContainer;public class HelloWorld { private HelloWorld() { ScriptingContainer container = new ScriptingContainer();
2013-12-28 21:39:17 1513
原创 hbase thrift 访问队列
public class CallQueue implements BlockingQueue { private static Log LOG = LogFactory.getLog(CallQueue.class); private final BlockingQueue underlyingQueue; private final ThriftMetrics metri
2013-12-28 20:59:32 1051
翻译 hbase thrift 定义
/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regardi
2013-12-28 20:40:32 1314
原创 thrift实现HDFS文件操作
thrift 文件如下namespace java com.pera.file.transformstruct File{ 1:string path , 2:string content,}service FileTransform { bool exists(1:string path), void mkdir(1:st
2013-12-16 14:50:42 1201
转载 软件工程师 Book
一、软件工程师 --Clean Code《代码整洁之道》 --Implementation Patterns《实现模式》 --Code Complete《代码大全》 --Refactoring: Improving the Design of Existing Code《重构——改善既有代码的设计》 --Effective Java(第二版) --Head First De
2013-12-12 22:28:39 762
Prefix tree
Prefix treeThe trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simplest form it can be used as a list of keywords or...
2013-12-08 11:38:57 125
Mahout系列----MinHash聚类
Map: Vector featureVector = features.get(); if (featureVector.size() < minVectorSize) { return; } // Initialize the MinHash values to highest for (int i = 0; i < numH...
2013-12-05 16:01:37 217
Mahout系列----谱聚类
1.构造亲和矩阵W 2.构造度矩阵D 3.拉普拉斯矩阵L4.计算L矩阵的第二小特征值(谱)对应的特征向量Fiedler 向量5.以Fiedler向量作为kmean聚类的初始中心,用kmeans聚类亲和矩阵 :W_ij=exp(-(d(s_i,s_j)/2o^2)) d(s_i,s_j) = ||s_i,s_j||. o 为事先设定的参数。度矩阵...
2013-12-05 09:30:57 166
转载 jvm内存查看与分析工具
2.3 JVM的垃圾收集策略 GC的执行时要耗费一定的CPU资源和时间的,因此在JDK1.2以后,JVM引入了分代收集的策略,其中对新生代采用"Mark-Compact"策略,而对老生代采用了“Mark-Sweep"的策略。其中新生代的垃圾收集器命名为“minor gc”,老生代的GC命名为"Full Gc 或者Major GC".其中用System.gc()强制执行的是Full Gc.
2013-12-04 16:10:19 772
转载 JVM内存模型及垃圾收集策略解析
JVM内存模型是Java的核心技术之一,之前51CTO曾为大家介绍过JVM分代垃圾回收策略的基础概念,现在很多编程语言都引入了类似Java JVM的内存模型和垃圾收集器的机制,下面我们将主要针对Java中的JVM内存模型及垃圾收集的具体策略进行综合的分析。一 JVM内存模型1.1 Java栈Java栈是与每一个线程关联的,JVM在创建每一个线程的时候,会分配一定的栈空间给线程。它主要用
2013-12-04 16:07:18 643
原创 CopyOnWriteArrayList
除了加锁外,其实还有一种方式可以防止并发修改异常,这就是将读写分离技术(不是数据库上的)。先回顾一下一个常识:1、JAVA中“=”操作只是将引用和某个对象关联,假如同时有一个线程将引用指向另外一个对象,一个线程获取这个引用指向的对象,那么他们之间不会发生ConcurrentModificationException,他们是在虚拟机层面阻塞的,而且速度非常快,几乎不需要CPU时间。2、J
2013-12-04 15:29:42 687
转载 Herriot
Herriot测试框架是Hadoop-0.21.0及以后版本中新加入的测试框架,它的出现主要是为了尽可能地模拟真实的大规模分布式系统,并且对该系统实现自动化测试。和Hadoop以前的测试框架MiniDFSCluster类似,Herriot也采用了JUnit框架,此外,Herriot还引入了面向切面编程(AOP)技术-AspectJ,实现了代码注入和错误注入,丰富了测试的内容。上图是采用Herr
2013-12-04 01:31:34 959
原创 Prefix tree
Prefix treeThe trie, or prefix tree, is a data structure for storing strings or other sequences in a way that allows for a fast look-up. In its simplest form it can be used as a list of keywords or
2013-12-04 01:10:02 1115
转载 hadoop 测试框架
hadoop 0.21以前的版本中(这里拿0.20为例,其他版本可能有少许不同),所有的测试相关代码都是放置在${HADOOP_HOME}/src/test下,在该目录下,是按照不同的目录来区分针对不同模块的测试代码。这里需要了解的是:对于相应的hadoop代码和class的包结构,在test中也是以相同的包结构来管理。比如,对于org.apache.hadoop.hdfs.server.name
2013-12-04 01:01:50 1001
转载 Hadoop RPC
hadoop rpc机制 && 将avro引入hadoop rpc机制初探1 RPCRPC(Remote Procedure Call)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。2 hadoop.ipc2.1 ServerRPC Server实现了一种抽象的RPC服务,同时提供Call队列。Ø RPC Server结构
2013-12-04 00:52:35 729
转载 HFile
HFile存储格式HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括两种文件类型:1. HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile2. HLog File,HBase中WAL(Write Ahead Log)
2013-12-04 00:48:00 763
转载 hbase介绍
一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop be
2013-12-04 00:46:26 656
jfreechart API
2010-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人