- 博客(82)
- 收藏
- 关注
RSS订阅转载 分布式数据采集系统中的时钟同步
在高速数据传输的分布式数据采集系统中，各个组成单元间的时钟同步是保证系统正常工作的关键。由于系统工作于局域网，于是借鉴了IEEE1588时钟同步协议的原理，设计出简易、高效的时钟同步方案，并在基于局域网的分布式数据采集系统中实现微秒级的精确同步。鉴于方案的高可行性和高效性，可将其推广到其他分布式局域网系统中。引言随着网络技术的发展，各种分布式的网络和局域网都得到了广泛的应用[1]。
2014-11-21 08:58:05
6388
转载 如何安装nginx_lua_module模块
本文记录如何安装ngx_lua模块nginx_lua_module是由淘宝的工程师清无（王晓哲）和春来（章亦春）所开发的nginx第三方模块,它能将lua语言嵌入到nginx配置中,从而使用lua就极大增强了nginx的能力http://wiki.nginx.org/HttpLuaModule 正文:1 下载luajit 2.0并安装http://l
2014-10-22 09:45:42
537
转载 CentOS桌面 yum 安装adobe flash player
桌面打开浏览器访问：http://get.adobe.com/cn/flashplayer/。网页会判断操作系统和浏览器并下载 Flash Player（支持Firefox浏览器）。或者直接下载：i386系统wget http://linuxdownload.adobe.com/adobe-release/adobe-release-i386-1.0-1.noarch.
2014-10-21 21:02:13
502
原创 SVN插件安装错误记录表
1、org.tigris.subversion.javahl.clientexception svn file not found
2014-10-09 18:55:18
485
转载 linux下 Time_wait过多问题解决
通过 netstat -anp | grep TIME_WAIT | wc -l 命令查看数量，发现TIME_WAIT的连接数量超过了18000太夸张了。1、初步怀疑是程序没有关闭连接，codereview了两遍，发现，已经正常关闭。2、网上看TIME_WAIT产生的原因，可能是因为服务器主动关闭连接导致TIME_WAIT产生。3、查找TIME_WAIT解决方案：
2014-10-08 16:53:29
673
转载 Linux统计/监控工具SAR详细介绍
sysstat 是 Linux 系统中的常用工具包。它的主要用途是观察服务负载，比如CPU和内存的占用率、网络的使用率以及磁盘写入和读取速度等。sysstat 工具包中包含两类工具：即时查看工具：iostat、mpstat、sar累计统计工具：sar也就是说，sar 具有这两种功能。因此，sar 是 sysstat 中的核心工具。为了实现 s
2014-09-09 11:29:03
576
转载 Java 枚举7常见种用法
JDK1.5引入了新的类型——枚举。在 Java 中它虽然算个“小”功能，却给我的开发带来了“大”方便。用法一：常量在JDK1.5 之前，我们定义常量都是： publicstaticfianl.... 。现在好了，有了枚举，可以把相关的常量分组到一个枚举类型里，而且枚举提供了比常量更多的方法。 Java代码 public enum Color {
2014-07-29 11:32:38
433
转载 谈谈陌陌争霸在数据库方面踩过的坑(排行榜篇)
为什么大部分网络服务都需要一个数据库在后台支撑整个系统？这通常是因为大部分系统的一个运行周期都很短，对于传统的网站服务来说，从收到一个 HTTP 请求开始，到终端用户收到这个请求的结果为止，就是一个运行周期。而其间可能处理的数据集是很大的，通常没有时间（甚至没有空间）把所有数据都加载到内存，处理其中涉及的一小部分，然后保存在磁盘上再退出。当数据量巨大时，任何对数据的操作的算法和数据结构都需
2014-07-25 15:20:56
1108
转载 关键字过滤
import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.List;import java.util.Set; @SuppressWarnings({ "rawtypes", "unchecked" })public class WordFilte{ priva
2014-07-25 15:17:29
569
转载 scala中方法和函数有什么区别
A Function Type is (roughly) a type of the form(T1，... ...，Tn) => U，
2014-07-10 09:56:01
2364
转载 Intellij快捷键的使用
Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+E或者Alt+Shift+C 最近更改的代码Ctrl+R 替换文本Ctrl+F 查找文本Ctrl+Shift+Spac
2014-06-11 10:01:43
531
转载 netty 4.0相关新的改变介绍
New and noteworthyDid you know this page is automatically generated from a Github Wiki page? You can improve it by yourself here!TABLE OF CONTENTSProject structure changesGeneral API chang
2014-04-28 10:23:34
1541
原创 新集合类的使用：BidiMap、MultiMap、LazyMap
最近在项目中发现apache common.collections中新增了几个集合类，对之前项目中遇到的一些想要解决的问题，提供了极为方便的方案BitMap：BidiMap，直译为双向Map，也就是可以通过key找value，也可以通过value找到key。这点在我们日常的 key-value 匹配的时候很方便。因为我们除此之外需要通过代码找到名称之外，也需要处理用户输入的名称，然后获
2014-01-17 14:46:54
3917
原创 Hive 中一些特殊的HSQL
1、导入数据时，指定分隔符 CREATE TABLE new_table_name row format delimited fields terminated by '\t' stored by textfileas select id,name from table_name;
2013-12-30 16:37:03
1701
原创 如何查看HADOOP中经常提到的错误编号
https://issues.apache.org/jira/browse/HBASE-217后面的HBASE-271可以根据书面提到的错误码好查看
2013-12-28 17:48:10
589
原创 Hive文件的导入与导出
官方提供两种导入数据的方式：1、从现在表中导入insert overwrite table TableName select * from original_tableName;另外一种，对多个表的插入：from TABLENAME1insert overwrite table TABLENAME2 select keyinsert overwrite ta
2013-12-27 20:38:38
947
转载 Hive Sort by/Order By/Cluster By/Distribute By
Order by ：它是对输入做全局排序，因此只有一个reducer（多个reducer无法保证佤有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。在hive.mapred.mode=strict模式下，强制必须添加limit限制，这么做的目的是减少reducer数据规模。例如，当限制limit 100时，如果map的个数为50，则reducer的输入规模为10
2013-12-27 17:20:57
761
转载 Hive与关系型数据的一些差别
1.更新，事务，索引，不支持，是全表扫描，但它支持通过partition和bucket来进行快速查询2.创建表的字段类型和java类型是对应的。区别在于它有tinyint代替char，只有0.10.0之后才支持日期类型，并新增了binary数据类型，提供转换为字符串类型的函数。3.查询语句中，不支持having，可写嵌套的select来解决；group by后只能是表的定义列名，不
2013-12-27 16:35:57
797
转载 Hive create external table partition关联数据文件
EXTERNAL 外部表 在建表的时候制定一个指向实际数据的路径(LOCATION)hive创建内部表时，会将数据移动到数据仓库指向的路径； 创建外部表时，仅记录数据所在的路径，不对数据的位置做任何改变，在删除表的时候： 内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。HDFS中已经导入了城市日期数据文
2013-12-27 14:53:13
3496
转载 HBase性能调优
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonSe
2013-12-18 16:44:40
509
转载 windows下配置Sublime Text 2开发Nodejs
1 下载 Sublime Text 2 ，并安装http://www.sublimetext.com/2 下载Nodejs插件,下载ZIP包 https://github.com/tanepiper/SublimeText-Nodejs3 解压上一步下载的ZIP包，并重命名为Nodejs（文件夹）4 将Nodejs整个文件夹复制到C:\Users\Administr
2013-11-20 10:10:42
1460
原创 hadoop 相关功能源码介绍
1、hadoop实现二度人脉与好友推荐 https://github.com/intergret/snippet/blob/master/deg2friend.java
2013-10-30 15:54:55
635
原创 hadoop N问
1、对文件进行分片，文件是以每一行为一条记录的（RecordReader），而 FileInputFormat是按照数据量的大小(splitSize)对文件进行切分。而而InputSplit的第一条记录（第一行）和最后一条记录（最后一行）可能会被从中间切开。为了解决这种记录跨越 inputSplit的问题，RecordReader规定每个Inputsplit的第一条不完整记录划给前一个Inpu
2013-10-15 17:34:23
620
原创 当Hadoop遇上小文件
1、什么是小文件？小文件就是指那些小于hdfs一个block大小的文件。2、这样的文件hadoop支持怎么样？小文件会给hadoop的扩展性和性能带来严重问题。小文件在hadoop中主要存在两个方面的问题，一个是hdfs存储，一个是mapreduce计算。hdfs中，任何block，文件或目录在内存中均以对象的方式存储，一个对象的大小是150kb，那么一千万个文件就需要2G的内存，
2013-08-27 11:31:28
624
转载 yum报错"This system is not registered with RHN"
root@localhost ipvsadm-1.25]# yum install gccLoading "security" pluginLoading "rhnplugin" pluginThis system is not registered with RHN.RHN support will be disabled.Setting up Install Process
2013-08-23 18:09:44
609
转载 hbase默认配置说明
hbase.rootdir这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的 '/hbase'目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认情况下H
2013-08-05 18:58:47
1024
原创 java.net.UnknownHostException
“Reason: java.net.UnknownHostException: server100:”这样一个异常，上次碰到这个问题的时候只是在测试组的测试机器上，四台正式机都是对的，没有关注。 问题原因是在系统的 /etc/Hostname中配置了“server100” 作为主机名，而在/etc/hosts文件中没有 相应的“server100”。简单的解决办法是
2013-07-31 20:44:52
8265
转载 Jar 打包说明
执行：Exception in thread "main" java.io.IOException: invalid header field at java.util.jar.Attributes.read(Attributes.java:393) at java.util.jar.Manifest.read(Manifest.java:182)
2013-07-19 14:00:59
774
原创 hadoop CLASSNAME的执行
官方帮助中提示，如果需要执行java类，只需要执行命令：hadoop CLASSNAME(如：hadoop org.apache.hadoop.test.HelloWorld)即可，但是，实际上真正运行，需要配置$HADOOP_CLASSPATH变量。举例说明：export /hadoop/hadoop/*.jar:$APP_HOME/binhadoop org.apache.hadoop
2013-07-18 19:47:48
903
原创 Apache Thrift安装过程出现的问题
1、/usr/bin/env escript no such file or directory出现该问题的主要原因在于，thrift在configure时，使用了 erlang，而erlang中包含了一个escript脚本，只需要将escript加入值env中就OK了
2013-07-12 15:22:08
1350
转载 MongoDB 分片集群
分片集群Mongodb中数据分片叫做chunk，它是一个Collection中的一个连续的数据记录，但是它有一个大小限制，不可以超过200M，如果超出产生新的分片。下面是一个简单的分片集群实例分片集群的构成：Shard server：mongod实例，用于存储实际的数据块Config server：mongod实例，用于存储整个Cluster Met
2013-06-07 11:05:58
805
原创 MongoDB 升级操作
1、首先备份数据 mongodump -h localhost -d dbname -o directory //恢复数据 mongorestore -h localhost -d stock --directoryperdb /home/stock/db 2、获取新的MongoDB 安装文件官网：http://www.mongodb.org/download
2013-06-06 17:25:16
705
转载 MongoDB 的日志系统
MongoDB拥有几种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志。这些日志记录着MongoDB数据库的不同的踪迹。系统日志系统日志记录着Mongodb启动和停止的操作，以及服务器在运行过程中发生的任何异常信息。配置系统日志的方法比较简单，只需要在启动 mongod时指定一个 logpath参数即可，例如：mongod -logpath=/dat
2013-05-30 17:42:58
1616
原创 MongoDB的聚合函数 Aggregate
Aggregate的使用，有利于我们对MongoDB中的集合进行进一步的拆分。示例：db.collection.aggregate( {$match:{x:1}, {limit:10}, {$group:{_id:"$age"}}});操作符介绍：$project：包含、排除、重命名和显示字段$match：查询，需要同find(
2013-05-28 14:29:25
11189
2
原创 MongoDB数组的操作
例如我有记录：clazz{"_id":1,"name":"90班","students":[{"uid":12,"uname":"张三"},{"uid":12,"uname":"李四"}}{"_id":2,"name":"91班","students":[{"uid":21,"uname":"张三"},{"uid":22,"uname":"王五"}}{"_id":3,"name":"92
2013-05-28 11:30:13
2269
原创 Google ProtoBuf
package com.open.webserver;option java_package="com.open.protocol.model";option java_outer_classname="UserProto";import "web/UserRelProto.proto";/** * 注册用户 */message WsRegisterUser{ require
2013-05-27 17:17:28
686
原创 MongoDB中修改集合中的某个元素的值
public static void main(String[] args) {String id = "51a31b1424c6f6929c8194a5";String mId = "51a31bdb24c6dafc9e6fc618";DBObject filter = new BasicDBObject();filter.put("_id", new ObjectId(id))
2013-05-27 16:57:07
1778
转载 Hadoop 添加删除DataNode 和 TaskTracker
在配置 hadoop相关信息时，建议 datanode和tracker分开写独立的exclude文件，因为一个节点即可以同时是 datanode和tasktracker，也可以单独是datanode和tasktracker.1、删除datanode修改 namenode 上的hdfs-site.xmldfs.hosts/hadoop/hadoop/conf/datanode
2013-05-22 11:11:03
1159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人