2015年11月_Rosen_Luo

转载 Scrum敏捷开发实践之有道云笔记

1. Scrum不是万能药，要在时机成熟时推行。什么时候算时机成熟呢？我们的经验是需要两点：一、团队有三名或以上的研发工程师；二、团队内有一名合适的Scrum Master 。刚开始的时候，一个开发团队可能只有一名或者两名研发工程师。这时候并没有全面推行scrum的必要，而可以借鉴scrum中的一些做法。比如有道云笔记的Web团队最初就是这个情况。当Web团队只有一名研发工程师时，我

2015-11-24 09:38:05 683

原创 hbase 新旧API对比

1.org.apache.hadoop.hbase.client.Put 取消了无参的构造方法 Put类不再继承Writable类 0.94.6时public class Put extends Mutation implements HeapSize, Writable, Comparable 0.96.0时public class Pu

2015-11-19 17:09:32 4823

原创通过mapreduce操作Hbase

package man.ludq.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Put;import

2015-11-19 17:04:18 604

原创 Sqoop1.4.6 增量导入HDFS

一、增量导入模式简介Sqoop提供将新数据导入，而已经导入的数据不再执行导入操作，即增量导入操作。使用以下参数：--check-column (col)指定一个“标志列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型（这个很好理解吧）。--incremental (mode)指定增量模式，包含“追加模式” append

2015-11-10 16:12:49 2231

转载 sqoop1 命令说明

1. 概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。2. codegen将关系数据库表映射为一个java文件、java class类、以及相关的jar包，作用主要是两方面：1、将数据库表映射为一

2015-11-09 17:06:10 2362 2

原创 sqoop1.99.4安装与应用

1. 版本信息:hadoop版本:2.4.0,sqoop版本:sqoop-1.99.4-bin-hadoop2002. 首先将下载好的sqoop-1.99.4-bin-hadoop200.tar.gz解压,并放到常用程序安装目录:/usr3. 修改环境变量：sudo /etc/profile:添加如下内容：#sqoopexport SQOOP_HOME=/usr/sq

2015-11-09 16:57:39 660

原创 sqoop1.4.6实现Mysql与HDFS/Hbase的数据迁移

简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。http://sqoop.apache.org/环境当调试过程出现IncompatibleC

2015-11-09 16:45:14 2388

原创 CentOS 6桥接网卡配置

安装KVM虚拟机软件，需要配置一个桥接网卡，以便客户机获取到跟真实系统同一网段的IP，本文实验环境基于CentOS 6 64bit，记录一下，本文所有命令均是在真实系统里操作，而非在客户机操作。1，准备工作关闭NetworkManager服务，启用network服务[root@localhost ~]# service NetworkManager stop[root@localh

2015-11-06 17:23:05 4044

原创 CentOS linux下安装Oracle客户端

1.下载以下包，但是需要一个oracle的OTN的注册帐号（免费）：到oracle官网下载(需要账号)：http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.htmloracle-instantclient11.2-basic-11.2.0.3.0-1.x86_64.rpm oracle-instantclien

2015-11-06 15:47:34 1033

原创 linux下配置 tomcat7 自动启动

我的Tomcat安装位置：/usr/local/apache-tomcat-7.0.11Java安装位置：/usr/local/jdk1.6.0_241) 编辑/etc/profile，在文件末尾添加jdk路径#vi /etc/profile文件最后内容如下export JAVA_HOME=/usr/local/jdk1.6.0_24expo

2015-11-05 16:43:15 533

Jor_rosen的技术博客