2016年06月_qq_26091271

转载双机调度问题

求解流水作业调度问题的Johnson算法具体描述如下：（1）设a[i]和b[i]（0设n=4，（a0,a1,a2,a3）=（3,4,8,10）和（b0,b1,b2,b3）=（6,2,9,15）的作业0的三元组为（0，3，0），作业1的三元组为（1，2，1）……如图（a）所示。（2）对三元组表按处理时间排序，得到排序后的三元组表d。如图（b）所示。（3）对三元组表的每一项

2016-06-30 10:13:09 1452

转载 0-1背包问题

背包问题，常见的有三种类型：基本的0-1背包、完全背包和多重背包、二维背包首先是基本的0-1背包问题。因为这里的物品一般指花瓶、玉器什么的，要么拿、要么不拿，只有0和1两种状态，所以也叫0-1背包。0-1背包虽然简单，却很重要，是“万法之源”，是其他几类问题的基础。初学者有时会认为，0-1背包可以这样求解：计算每个物品的Vi/Wi，然后依据Vi/

2016-06-30 10:11:47 293

转载货郎担（旅行售货商）动态规划

一，问题由来货郎担问题也叫旅行商问题，即TSP问题（Traveling Salesman Problem），是数学领域中著名问题之一。　二，问题描述 1）货郎担问题提法：有n个城市，用1，2，…，n表示，城i,j之间的距离为dij，有一个货郎从城1出发到其他城市一次且仅一次，最后回到城市1，怎样选择行走路线使总路程最短？　

2016-06-30 10:09:13 736

转载 hbase海量数据导入

最近有个需求要对mysql的全量数据迁移到hbase,虽然hbase的设计非常利于高效的读取，但是它的compaction实现对海量数据写入造成非常大的影响，数据到一定量之后，就开始抽风。分析hbase的实现，不管其运行的机制，其最终存储结构为分布式文件系统中的hfile格式。刚好hbase的源代码中提供一个HFileOutputFormat类，分析其源代码可以看到： Ja

2016-06-29 17:56:58 732

转载排序算法详解

排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。我们这里说说八大排序就是内部排序。当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：快速排序、堆排序或归并排序序。快速排序：是目前基于比较的内部排序中被认为是最好的方法，当待排序

2016-06-29 08:07:21 289

转载列式存储和行式存储的区别

1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好，直接抄原文了)：Ø Row-based storage stores atable in a sequence of rows.Ø Column-based storag

2016-06-28 20:50:28 32309

转载 Hbase API 操作

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.

2016-06-28 11:30:32 241

转载 java线程详解

Java线程详解Java线程：概念与原理一、操作系统中线程和进程的概念现在的操作系统是多任务操作系统。多线程是实现多任务的一种方式。进程是指一个内存中运行的应用程序，每个进程都有自己独立的一块内存空间，一个进程中可以启动多个线程。比如在Windows系统中，一个运行的exe就是一个进程。线程是指进程中的一个执行流程，一个进程中可以运行多个线程。比如java.e

2016-06-27 09:07:27 766

转载 Docker在PHP项目开发环境中的应用

环境部署是所有团队都必须面对的问题，随着系统越来越大，依赖的服务也越来越多，比如我们目前的一个项目就会用到：Web服务器：NginxWeb程序：PHP + Node数据库：MySQL搜索引擎：ElasticSearch队列服务：Gearman缓存服务：Redis + Memcache前端构建工具：npm + bower + gulpPHP CLI工具：Composer + PHPUnit

2016-06-20 20:18:17 359

转载 MySql 密码忘记了怎么办？

如果不是root密码：用root进去，修改mysql数据库user表咯。如果是root密码：方法一：MySQL提供跳过访问控制的命令行参数，通过在命令行以此命令启动MySQL服务器： safe_mysqld --skip-grant-tables& 即可跳过MySQL的访问控制，任何人都可以在控制台以管理员的身份进入MySQL数据库。需要注意的是在修改完密码以后要

2016-06-13 21:32:23 529

转载利用Openvswitch实现不同物理机中的Docker容器互连

1. 测试环境75机(10.11.150.75)：Red Hat Enterprise Linux Server 7.0，无外网访问权限，已安装Docker Server74机(10.11.150.74)：Red Hat Enterprise Linux Server 7.0，无外网访问权限，已安装Docker Server73机(10.11.150.73)：Red Hat

2016-06-04 09:13:38 968

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架

2016-06-02 21:26:26 347

转载 Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询

1、搭建环境新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 Java代码 package com.wujintao.hbas

2016-06-01 18:27:13 324

摩西YF拉比