- 博客(163)
- 收藏
- 关注
RSS订阅thrift之TTransport层的堵塞的套接字I/O传输类TSocket
本节将介绍第一个实现具体传输功能的类TSocket，这个类是基于TCP socket实现TTransport的接口。下面具体介绍这个类的相关函数功能实现。 1.构造函数 分析一个类的功能首先看它的定义和构造函数实现，先看看它的定义：class TSocket : public TVirtualTransport<TSocket> { ......} 由定义可以看书TSoc...
2013-07-25 22:51:00
436
thrift之默认传输类TTransportDefaults和虚拟传输类TVirtualTransport
默认传输类TTransportDefaults提供了抽象类TTransport的默认实现，实现了非虚拟的方法（*_virt） read(), readAll(), write(),borrow() and consume()。基类TTransport总是调用对应的虚拟函数，而默认传输类按照默认的方式实现而不去自己在覆盖哪些对应的虚拟函数了。 其实这个默认传输类的主要作用是作为虚拟传输类TVi...
2013-07-25 22:49:00
138
KVM-QEMU vdagent实现机制分析（二）
1. 虚拟串口模块的初始化注册在QEMU中与虚拟串口(virtio-serial)通信相关的文件主要有以下几个：Virtio-pci.cvirtio-serial-bus.c(h) //从名字上看也像virtio-console.cvl.c //qemu的main函数在这里Virtio-pci.c的最后一行是这样的：type_init(virtio_p...
2013-07-25 16:36:00
443
提升博客内容吸引力须知的十个秘诀
在这样一个信息爆炸的时代，制造优质内容去赢得更多“眼球”尤为重要，为何有些内容如此具有吸引力？另外一些却给人感觉很无聊？为何你每天更新博客，却几乎没有人来浏览或者留言？为何你的网站天天发布原创，流量始终上不去？经过笔者这些年的观察和思考，我总结出优秀内容所具备的10点特质，现在就把秘诀分享给大家。 1）”F扫视区域”给人的启示 著名的Nielsen对用户浏览网页的行为作了一番研究，此研...
2013-07-25 14:47:00
142
KVM-QEMU vdagent实现机制分析（一）
在Ubuntu12.10下搭建基于KVM-QEMU的虚拟机环境（十八）中我们实验了通过在虚拟机里面安装vdagent（Spice Agent）程序来自动适应屏幕分辨率的功能，这个vdagent是运行在虚拟机里面的，而分辨率的信息来自spice client，这中间隔着spice server，qemu等模块，中间的过程还是比较复杂的。通过分析这个流程，有助于帮助我们理解更多KVM-QEMU虚...
2013-07-25 10:59:00
1121
thrift之TTransport类体系原理及源码详细解析1-类结构和抽象基类
本章主要介绍Thrift的传输层功能的实现，传输的方式多种多样，可以采用压缩、分帧等，而这些功能的实现都是相互独立，和上一章介绍的协议类实现方式比较雷同，还是先看看这部分的类关系图，如下： 由上面的类关系图可以看出，这部分的功能是相当的强大，所以类比较多且关系错综复杂。但是如果理解清楚了这些类直接的关系就很容易掌握这部分的实现技术和这部分实现的功能。我们把这个类关系图分为三部分来看，第一部分...
2013-07-25 00:03:00
188
用Arraylist的contains()方法去掉文件中的重复数据
List接口里面有个重要方法就是contains（），使用这个方法就可以去重了。核心代码如下BufferedWriter bo=new BufferedWriter(new FileWriter("特殊符号.text")); String line=null; List list=new ArrayList(); while((line=br.readLine())!...
2013-07-24 16:38:00
72
java写文件时，输出不完整的原因以及解决方法close()或flush()
在java的IO体系中，写文件通常会用到下面语句BufferedWriter bo=new BufferedWriter(new FileWriter("sql语句.txt"));用到这个的时候一定不能忘了他的伴侣代码。。bo.close();或者bo.flush();实际上，FileWriter在写文件时，会把内容存储到一块缓冲区中，当缓冲区满后，才会把缓冲区中的内容...
2013-07-24 16:22:00
292
基于virtio在虚拟机与主机之间传递消息
Virtio是Linux虚拟机平台上统一的虚拟IO接口驱动。通常主机为了让客户机像在真实环境中一样运行，需要为客户机创建各式各样的虚拟设备，如磁盘，网卡，显卡，时钟，USB 等。这些虚拟设备大大降低了客户机的性能。使用virtio。虚拟机guest不用关注如何创建各种虚拟硬件设备（如磁盘，网卡，显卡等），可以用统一的虚拟设备，因此大大提高虚拟机的性能。这个统一的虚拟设备就是virtio。...
2013-07-24 15:53:00
230
sqlplus handbook
1.直接敲sqlplus并回车就是启动SQL*PLUS，输入user及password将使用户登陆到缺省的数据库。请输入用户名:2.sqlplus user/password@SERVICE_NAME将连接到指定的数据库。3.敲sqlplus /nolog就是使SQL*PLUS启动,但不登陆Oracle数据库。然后需要使用conn...
2013-07-24 13:06:00
68
KVM虚拟机代码揭秘——QEMU代码结构分析
前言：本文主要概括了QEMU的代码结构，特别从代码翻译的角度分析了QEMU是如何将客户机代码翻译成TCG代码和主机代码并且最终执行的过程。并且在最后描述了QEMU和KVM之间联系的纽带。申明：本文前面部分从qemu detailed study第七章翻译而来。1.代码结构如我们所知，QEMU是一个模拟器，它能够动态模拟特定架构的CPU指令，如X86，PPC，ARM等等。QEMU模...
2013-07-23 21:11:00
87
How to use SQLPlus export data to csv format
Sqlplus opr1d/password@swoprdb1d.nam.nsroot.net:1521/OPRISKD1set colsep '|'set echo offset feedback offset linesize 1000set pagesize 9999set trimspool onset headsep offspool output...
2013-07-23 19:57:00
70
mahout源码canopy算法分析之三CanopyReducer
经过了前面两篇文章的分析，相信大家对CanopyReducer的分析就不会碰到太大的疑问，因为CanopyReducer的操作简直就和CanopyMapper的操作一模一样，也是把所有的样本数据分为若干组，即又按照map的操作执行了一次，那么就会有同学问了？那不是都不需要用reduce么？大家这里想一下，map的输出和输入有什么区别。假如map的输入有100个样本被分为了5组，并且clusterF...
2013-07-23 19:55:00
164
mahout源码canopy算法分析之三CanopyReducer
经过了前面两篇文章的分析，相信大家对CanopyReducer的分析就不会碰到太大的疑问，因为CanopyReducer的操作简直就和CanopyMapper的操作一模一样，也是把所有的样本数据分为若干组，即又按照map的操作执行了一次，那么就会有同学问了？那不是都不需要用reduce么？大家这里想一下，map的输出和输入有什么区别。假如map的输入有100个样本被分为了5组，并且clusterF...
2013-07-23 19:55:00
59
mahout源码canopy算法分析之三CanopyReducer
经过了前面两篇文章的分析，相信大家对CanopyReducer的分析就不会碰到太大的疑问，因为CanopyReducer的操作简直就和CanopyMapper的操作一模一样，也是把所有的样本数据分为若干组，即又按照map的操作执行了一次，那么就会有同学问了？那不是都不需要用reduce么？大家这里想一下，map的输出和输入有什么区别。假如map的输入有100个样本被分为了5组，并且clusterF...
2013-07-23 19:55:00
112
java从文件中读取数据然后插入到数据库表中
实习工作中，完成了领导交给的任务，将搜集到的数据插入到数据库中，代码片段如下： static Connection getConnection() throws SQLException, IOException , ClassNotFoundException { Properties props = new Properties(); FileI...
2013-07-23 18:27:00
135
Hadoop Command Summary
List file is:$ ./hadoop fs -lsFound 17 items-rwxr-xr-x 1 yj70978 retailfi 1259 2013-01-30 21:05/home/yj70978/hadoop/hadoop-1.1.2/bin/start-mapred.sh-rwxr-xr-x 1 yj70978 retailfi 2642 2013-01-3...
2013-07-23 13:44:00
99
Startup Standalone Hadoop Mode
Startup Standalone Hadoop ModeFormat your HDFS byusing the command before launch Hadoop,$ bin/hadoopnamenode -format[JRockit] Localmanagement server started.13/07/22 21:30:08INFO namenode.Name...
2013-07-23 09:39:00
82
Setting up SSH for a Hadoop cluster
Setting up SSH for a Hadoop clusterWhen setting up aHadoop cluster, you’ll need to designate one specific node as the master node.We need to define a means for the master node to remotely access eve...
2013-07-23 09:08:00
133
mahout源码canopy算法分析之二CanopyMapper
首先更正一点，前篇博客里面说到一个Canopy的测试的例子里面有这样的一句代码：buildClusters(Configuration conf, Path input, Path output, DistanceMeasure measure, double t1, double t2, double t3, double t4, int clusterFilte...
2013-07-22 22:24:00
156
mahout源码canopy算法分析之二CanopyMapper
首先更正一点，前篇博客里面说到一个Canopy的测试的例子里面有这样的一句代码：buildClusters(Configuration conf, Path input, Path output, DistanceMeasure measure, double t1, double t2, double t3, double t4, int clusterFilte...
2013-07-22 22:24:00
45
mahout源码canopy算法分析之二CanopyMapper
首先更正一点，前篇博客里面说到一个Canopy的测试的例子里面有这样的一句代码：buildClusters(Configuration conf, Path input, Path output, DistanceMeasure measure, double t1, double t2, double t3, double t4, int clusterFilte...
2013-07-22 22:24:00
59
Hadoop Starting
Hadoop employs amaster/slave architecture for both distributed storage and distributedcomputation. The distributed storage system is called the Hadoop File System,or HDFS. The NameNode is the master o...
2013-07-22 20:24:00
50
Learning Hadoop
1.bin/hadoop jar hadoop-examples-*.jar grep conf output 'dfs[a-z.]+'13/07/22 07:59:45 INFO util.NativeCodeLoader: Loaded the native-hadoop library13/07/22 07:59:46 WARN snappy.LoadSnappy: Snappy n...
2013-07-22 20:01:00
57
高并发操作和查询的数据采集和查询系统的oracle数据库设计建议
（1）使用分布式垂直切分。由于已经使用了Oracle RAC提供分布式的集群服务。所以对于产生大数据和高并发的表，可以采用数据库垂直分片(比如1-500号集中器的数据采集到数据库A、500-1000到B)。数据分片，是将整体数据分摊在多个存储设备上，这样每个存储设备的数据量相对就会小很多，以此满足系统的性能需求。分区可以提高可管理性、性能与可用性，从而给各种各样的应用程序带来极大的好处。当然一...
2013-07-22 19:14:00
382
How to Transfer Files Using PuTTY
How to Transfer Files Using PuTTYPuTTY is the CIT-recommended application for secure file transfer using SCP between Windows clients and Windows or Unix servers.PuTTY is availa...
2013-07-22 19:05:00
253
Big Table and Small Table Join strategy in Oracle
The optimizer usesnested loop joins when joining small number of rows, with a good drivingcondition between the two tables. You drive from the outer loop to the innerloop, so the order of tables in th...
2013-07-22 17:45:00
59
java数据库连接池proxool介绍及mysql8小时断开连接问题的说明
Proxool是一种Java数据库连接池技术。是sourceforge下的一个开源项目,这个项目提供一个健壮、易用的连接池，最为关键的是这个连接池提供监控的功能，方便易用，便于发现连接泄漏的情况。目前是和DBCP以及C3P0一起，最为常见的三种JDBC连接池技术。日前，Hibernate官方宣布由于Bug太多不再支持DBCP，而推荐使用 Proxool或C3P0。目前最新的版本...
2013-07-22 10:35:00
231
Hadoop Introduction
Hadoop is an opensource framework for writing and running distributed applications that processlarge amounts of data. Distributed computing is a wide and varied field, butthe key distributions of Hado...
2013-07-22 10:27:00
72
gson介绍
java json对象的处理，目前有好一些类库，比较著名的有Jackson，Fastjson等。这里介绍一下google封装的类库gson。gson和其他现有java json类库最大的不同时gson需要序列化得实体类不需要使用annotation来标识需要序列化得字段，同时gson又可以通过使用annotation来灵活配置需要序列化的字段。1）toJason()方法将对象转换成...
2013-07-22 09:59:00
139
mahout算法canopy源码分析之一：获得输入数据
对于canopy的输入数据需要的形式为序列文件，同时保证key：Text、value：VectorWritable。昨晚准备打算使用单纯的java程序搞定输入数据的准备，无奈老是会出点问题，昨晚的问题“找不到文件”暂时还没找到原因。其实如果只是要获得输入数据那么，可以使用mahout官网提供的方法在得到了序列的*.txt文件后直接把mahout-distribution-0.7.zip...
2013-07-21 19:06:00
139
mahout算法canopy源码分析之一：获得输入数据
对于canopy的输入数据需要的形式为序列文件，同时保证key：Text、value：VectorWritable。昨晚准备打算使用单纯的java程序搞定输入数据的准备，无奈老是会出点问题，昨晚的问题“找不到文件”暂时还没找到原因。其实如果只是要获得输入数据那么，可以使用mahout官网提供的方法在得到了序列的*.txt文件后直接把mahout-distribution-0.7.zip...
2013-07-21 19:06:00
62
mahout算法canopy源码分析之一：获得输入数据
对于canopy的输入数据需要的形式为序列文件，同时保证key：Text、value：VectorWritable。昨晚准备打算使用单纯的java程序搞定输入数据的准备，无奈老是会出点问题，昨晚的问题“找不到文件”暂时还没找到原因。其实如果只是要获得输入数据那么，可以使用mahout官网提供的方法在得到了序列的*.txt文件后直接把mahout-distribution-0.7.zip...
2013-07-21 19:06:00
57
busybox介绍
BusyBox 是一个集成了一百多个最常用linux命令和工具的软件。BusyBox 包含了一些简单的工具，例如ls、cat和echo等等，还包含了一些更大、更复杂的工具，例如grep、find、mount以及telnet。有些人将 BusyBox 称为 Linux 工具里的瑞士军刀。简单的说BusyBox就好像是个大工具箱，它集成压缩了 Linux 的许多工具和命令，也包含了 Android...
2013-07-21 09:58:00
105
mahout算法源码分析之零：搭建环境及Canopy获得输入数据
使用软件：VMware6.5 、redhat、hadoop-1.0.4、eclipse、mahout-0.7（主机 为win7）；1.首先使用虚拟机搭建一个伪分布式hadoop集群，在主机的浏览器中输入： 虚拟机名:50030 ，查看集群状态（可以参考配置hosts文件）；2. 下载两个版本的mahout（以1.7为例），如下图所示：其中mahout-distribution-0....
2013-07-21 00:03:00
82
Ubuntu12.10 下搭建基于KVM-QEMU的虚拟机环境（十九）
Spice 客户端和spice 服务端通常运行在不同的机器上，运行spice服务端的主机通常有着多颗多核的CPU以及几十G以上的内存，通过底层支持虚拟化的KVM+qemu环境虚拟出几台到几十台虚拟机，供运行Spice客户端的终端连接使用，这些终端通常配置较低，仅仅充当虚拟桌面的显示之用，当然还有键盘、鼠标的输入和声音的输出等基本功能，这些在我们之前介绍的spice连接中都已经具备。 稍稍有些...
2013-07-20 22:52:00
254
mahout算法源码分析之零：搭建环境及Canopy获得输入数据
使用软件：VMware6.5 、redhat、hadoop-1.0.4、eclipse、mahout-0.7（主机 为win7）；1.首先使用虚拟机搭建一个伪分布式hadoop集群，在主机的浏览器中输入： 虚拟机名:50030 ，查看集群状态（可以参考配置hosts文件）；2. 下载两个版本的mahout（以1.7为例），如下图所示：其中mahout-distribution-0....
2013-07-20 16:03:00
149
mahout算法源码分析之零：搭建环境及Canopy获得输入数据
使用软件：VMware6.5 、redhat、hadoop-1.0.4、eclipse、mahout-0.7（主机 为win7）；1.首先使用虚拟机搭建一个伪分布式hadoop集群，在主机的浏览器中输入： 虚拟机名:50030 ，查看集群状态（可以参考配置hosts文件）；2. 下载两个版本的mahout（以1.7为例），如下图所示：其中mahout-distribution-0....
2013-07-20 16:03:00
59
vsftp中426 Failure writing network stream的错误解决
今天在上传一个大文件到服务器上时，发现文件只上传了一部分。日志日报it.sauronsoftware.ftp4j.FTPException [code=426, message= Failure writing network stream.]通过df命令查看，发现时磁盘满了。所以无法读取文件。把磁盘整理一下。上传就可以了...
2013-07-19 14:23:00
2705
Windows Azure功能更新：虚拟机服务改进、SQL数据库定期备份、SQL独享服务
最近的两周，Windows Azure并没有发布重大更新，不过，在最近的微软合作伙伴大会WPC上，微软发布了一些近期将会发布的新特性。首先，我们先看下已经发布的更新。这两项更新并没有大范围宣传，只是突然出现在门户上了：1. 虚拟机创建方式改进Azure的虚拟机服务是从云服务拆分、演化出来的。尽管虚拟机服务现在是一项独立的服务，但在用户在初次使用虚拟机的过程中，却容易晕掉，那是因为A...
2013-07-19 11:21:00
154
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人