2014年05月_Flood_Dragon

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 [转载]用 FFMPEG 合并 MP4 视频

因为 ffmpeg 是支持切分 mp4 视频的，所以我就理所当然的以为 ffmpeg 是支持视频合并。直到今天同事找我问方法，才发现一直以为的方法是错误的， mp4 不支持直接 concate（丢人了。。。），赶紧补了一下能量，从网上抓来了多种实现。注：这里的 mp4 指的是网上最多见的 h264+aac mpeg4 容器的方式1). ffmpeg + mpeg这种是网上

2014-05-29 16:05:27 13463 1

转载 ffmpeg裁剪合并视频

这里裁剪是指时间轴裁剪，不是空间裁剪。比如说，你想把视频的从一分20秒开始，30秒的视频裁剪出来，保存成一个视频。这是这个文章要讨论的问题。一裁剪视频 ffmpeg提供简单的命令参数：ffmpeg -ss START -t DURATION -i INPUT -vcodec copy -acodec copy OUTPUT对

2014-05-29 14:32:02 1220

转载 hbase建索引的两种方式

在二级索引的实现技术上一般有几个方案：1. 表索引使用单独的hbase表存储索引数据，业务表的索引列值做为索引表的rowkey，业务表的rowkey做为索引表的qualifier或value。问题：对数据更新性能影响较大；无法保证一致性；Client查询需要2次RPC（先索引表再数据表）。2. 列索引与业务表使用相同表，使用单独列族存储索

2014-05-29 11:38:40 1708

转载 MyBatis之增加删除修改

insert、update、delete这三个元素分别用于执行SQL中的insert、update、delete。三个元素配置基本相同配置细节如下：属性描述取值默认id在这个模式下唯一的标识符，可被其它语句引用 parameterType传给此语句的参数的完整类名或别名 flu

2014-05-29 10:55:38 889

转载 MyBatis insert操作返回主键

在使用MyBatis做持久层时，insert语句默认是不返回记录的主键值，而是返回插入的记录条数；如果业务层需要得到记录的主键时，可以通过配置的方式来完成这个功能针对Sequence主键而言，在执行insert sql前必须指定一个主键值给要插入的记录，如Oracle、DB2，可以采用如下配置方式：SELECT SEQ_TEST.NEXTVA

2014-05-29 10:54:51 988

转载 Mybatis 一对多(OneToOne)关系映射

关于MyBatis一对多的设置如下:1.创建数据库脚本CREATE TABLE t_customer( id int(10) not null auto_increment, address varchar(120), postcode varchar(6), sex varchar(2), cname varchar(24),

2014-05-28 16:29:09 1610

转载 Nginx Location 语法，与简单配置

一、介绍Nginx是俄罗斯人编写的十分轻量级的HTTP服务器,Nginx，它的发音为“engine X”，是一个高性能的HTTP和反向代理服务器，同时也是一个IMAP/POP3/SMTP 代理服务器．二、Location语法语法：location [=|~|~*|^~] /uri/ { … }注：1、~ 为区分大小写匹配2、~* 为不区分大小写匹配3、!~和!~*分别为区

2014-05-20 15:02:25 618

转载 nginx常见内部参数，错误总结

1、日志简介nginx日志主要有两种：访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求，格式可以自定义；错误日志主要记录客户端访问nginx出错时的日志，格式不支持自定义。两种日志都可以选择性关闭。通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你

2014-05-20 11:59:24 4943

转载 Nginx的启动、停止、平滑重启

启动Nginx/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf停止Nginx可以发送向通信号给Nginx主进程的方式来停止Nginx，操作如下：CentOS release 5.7 (Final)[root@vps ~]# ps -ef | grep nginx #查询mast

2014-05-20 11:56:30 714

转载关于nginx upstream的几种配置方式

平时一直依赖硬件来作load blance，最近研究Nginx来做负载设备，记录下upstream的几种配置方式。第一种：轮询upstream test{ server 192.168.0.1:3000; server 192.168.0.1:3001;}第二种：权重upstream test{ server 192.1

2014-05-20 11:48:24 920

转载 Oracle查询树型关系

oracle中的select语句可以用START WITH...CONNECT BY PRIOR子句实现递归查询，connect by 是结构化查询中用到的，其基本语法是：select * from tablename start with cond1connect by cond2where cond3;　　简单说来是将一个树状结构

2014-05-19 17:17:22 1251

转载海量数据的二度人脉挖掘算法（Hadoop 实现）

在新浪微博、人人网等社交网站上，为了使用户在网络上认识更多的朋友，社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能。一直很好奇这个功能是怎么实现的。其实，社交网站上的各个用户以及用户之间的相互关注可以抽象为一个图。以下图为例：顶点A、B、C到I分别是社交网站的用户，两顶点之间的边表示两顶点代表的用户之间相互关注。那么如何根据用户之间相互关注所构成的

2014-05-19 10:50:46 724

转载 tomcat源码分析

TOMCAT源码分析(启动框架) 前言：本文是我阅读了TOMCAT源码后的一些心得。主要是讲解TOMCAT的系统框架，以及启动流程。若有错漏之处，敬请批评指教！建议：毕竟TOMCAT的框架还是比较复杂的，单是从文字上理解，是不那么容易掌握TOMCAT的框架的。所以得实践、实践、再实践。建议下载一份TOMCAT的源码，调试通过，然后单步跟踪其启动过程

2014-05-16 12:03:18 614

转载 Hive的JOIN用法

Hive表连接的语法支持如下：Sql代码 join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | ta

2014-05-15 17:07:39 551

转载 eclipse 配置jetty的两种方法

发现sina app engine(sae)和google app engine(gae)用的java servlet容器都是jetty，而不是tomcat，昨天在自己的电脑上写了一个servlet在sae上却不能用，于是在本地配了一下jetty。1、安装和运行jetty下载jetty的distribution压缩包之后，解压，在终端或者命令提示符中进入解压出来的jetty-distr

2014-05-15 11:21:00 1610

转载 hive数据导入导出

hive官方提供两种导入数据的方式 1 从表中导入： insert overwrite table test select * from test2; 2 从文件导入： 2.1 从本地文件导入： load data local inpath '/hadoop/aa.txt' overwrite into table test11

2014-05-14 15:25:01 672

转载 hive 基本语法

本来想讲自己用到的写出来了,结果发现一个比较全面的文章已经介绍过了,那我就不在重新发明轮子了,我也跟着学习一下。转自：http://jeffxie.blog.51cto.com/1365360/317524 DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds h

2014-05-14 15:24:30 733

转载 hive 部署需要注意的几点以及Version information not found 错误解决办法

安装HIVE 过程中要注意1，mysql 是否正常运行2. 创建好mysql 用户并分配好相应的访问权限以及数据库端口号等3. mysql-connector-java-5.1.26-bin.jar 是否放到hive/lib 目录下建议修改权限为777 （chmod 777 mysql-connector-java-5.1.26-bin.jar）4. 修

2014-05-14 15:09:06 1703

转载 mysql 增加用户

增加用户：（注意：和上面不同，下面的因为是MYSQL环境中的命令，所以后面都带一个分号作为命令结束符）　　格式：grant select on 数据库.* to 用户名@登录主机 identified by “密码” 第一种：增加一个用户test1密码为abc，让他可以在任何主机上登录，并对所有数据库有查询、插入、修改、删除的权限。首先用以root

2014-05-14 12:17:45 489

转载 java Socket 文件传输

import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.net.InetSocketAddress;import java.net.Socket;/** * 文件发送客户端主程序 * @auth

2014-05-09 14:36:40 748

转载 nginx tomcat负载均衡之文件上传访问策略

多服务器负载均衡的策略有多种，其中为目前大多数大型网站所采用的就是nginx做前端代理，后端链接多台jsp，php，cgi等网站服务器；近来一个项目可能会存在较大大访问量(预期日均用户量50万，最大并发数5万)，项目开发采用的语言是java，有一个网站管理后台（系统管理员用的，访问量不大），另外有50多个接口向外提供ios，android客户端访问，预设服务器运行环境是tomcat，为了适

2014-05-09 11:58:47 4625 3

转载 Nginx配置文件详细说明

在此记录下Nginx服务器nginx.conf的配置文件说明, 部分注释收集与网络.#运行用户user www-data; #启动进程,通常设置成和cpu的数量相等worker_processes 1;#全局错误日志及PID文件error_log /var/log/nginx/error.log;pid /var/run/nginx.pid;

2014-05-09 11:58:00 622

转载 activemq详细配置

activemq.xml的配置说明 xmlns="http://www.springframework.org/schema/beans" xmlns:amq="http://activemq.apache.org/schema/core" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL

2014-05-08 16:57:07 694

转载 Hadoop HPROF 的使用

我们编写的MapReduce程序不一定都是高效的，我们需要确定MapReduce的瓶颈在什么地方。Hadoop框架提供对HPROF的支持，HPROF能够跟踪CPU、堆的使用以及线程的生命周期，对于确定程序的瓶颈能够提供很大的帮助。为了使用HPROF我们需要在JobConf中进行一些设置，具体操作如下：JobConf jobConf = new JobConf(conf);

2014-05-08 11:17:21 817

转载 Hadoop深入学习：MapReduce的Shuffle过程详解

在本节中，我们再来仔细回顾一下MapReduce编程框架的所谓的“洗牌”过程，即MapReduce的Shuffle过程，可以说Shuffle是MapReduce编程框架的核心，能直接影响到MapReduce的性能。实际上，对MapReduce的调优在很大程度上就是对MapReduce Shuffle的性能的调优。那么，Shuffle到底在MapReduce处于哪个阶段呢？实

2014-05-06 15:32:09 1570

转载 linux ubuntu 彻底删除 MYSQL 然后重装 MYSQL

删除 mysqlsudo apt-get autoremove –purge mysql-server-5.0sudo apt-get remove mysql-serversudo apt-get autoremove mysql-serversudo apt-get remove mysql-common //这个很重要上面的其实有一些是多余的。清理残留数据

2014-05-06 14:10:40 721

转载 MapReduce的自制Writable分组输出及组内排序

问题描述：输入文件格式如下：name1 2name3 4name1 6name1 1name3 3name1 0要求输出的文件格式如下：name1 0，1，2，6name3 3，4要求是按照第一列分组，name1与name3也是按照顺序排列的，组内升序排序。

2014-05-06 11:33:57 570

翻译 hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode

hadoop配置文件里面有一个是masters 和slaves，从字面意思来理解的话呢就是masters设置运行namenode,和jobtracker的结点，其实不然啊！！今天看了HADOOP the definitive guid 第二版的影印版，在配置hadoop集群中介绍到，其实，masters设置的是运行secondary namenode的结点，并且可以在masters里面设置

2014-05-05 16:58:25 3602 1

转载 hadoop的1TB排序

1、1TB（或1分钟）排序的冠军作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14

2014-05-04 16:35:26 787