2014年01月_52Pig

11月 10月 09月 07月 06月 05月 03月 02月 01月

原创 SQL-Oracle10数据库设计范式

数据库设计范式工具 PowerDesigner 数据库范式非常重要，但从实际开发来看，如果真的全部按照范式去做，则这个程序没法写，包括查询语句也会变得复杂。在Oracle中的scott用户的全部表，实际上就已经很好的体现了一种设计思路，雇员-部门的关系。第一范式：数据库表中的字段都是单一属性的，不可再分。这个单一属性由其基本类型构成，包

2014-01-05 14:36:15 663

原创 SQL-Oracle09嵌套表与可变数组

嵌套表（了解）嵌套表：在一个表中还包含了一个子表 //------------------------------------------------------CREATE TABLE department( deptno NUMBER(2) PRIMARY KEY NOT NULL , dname VARCHAR2(50) NOT NULL) ;CREATE

2014-01-05 14:35:35 803

原创 SQL-Oracle08sql序列和同义词

序列（重点）在很多数据库系统中都存在一个自动增长的列，如果现在要想在Oracle中完成自动增长的功能，则只能依靠序列完成，所有的自动增长操作，需要用户手工完成处理。序列的创建格式：CREATE SEQUENCE sequence[INCREMENT BY n][START WITH n][{MAXVALUE n|NOMAXVALUE}][{MINVALUE n|NO

2014-01-05 14:34:45 823

原创 SQL-Oracle08sql视图

1、表的建立：CREATE TABLE 表名称Oracle中主要数据类型：VARCHAR2(长度) :表示一个字符串，有长度限制NUMBER() :表示数字，可以表示整数或小数DATE():表示日期格式，按照指定格式编写CLOB():存储大文本对象，海量文字BLOB():存储二进制数据，例如：电影、图片、音乐等等。(最大4GB)2、复制表：CREATE TABLE 表名

2014-01-05 14:34:01 862

原创 SQL-Oracle07sql约束

思考题：现在又一张国家表，里面只有一个国家名称的字段，内容如下：“中国、美国、巴西、荷兰”，现在要求通过查询实现对战功能：中国--美国中国--巴西中国--荷兰美国--中国美国--巴西美国--荷兰问：该程序如何实现？分析：本程序只能使用笛卡尔积完成。 CREATE TABLE national( name VARCHAR2(30));-

2014-01-05 14:33:11 934

原创 SQL-Oracle06表的管理

创建表CREATE TABLE person( pid VARCHAR2(18) , name VARCHAR2(200), age VARCHAR2(3), birthday NUMBER(3), sex VARCHAR2(2) DEFAULT '男');eg:向表中添加数据INSERT INTO person(pid,name,birthday

2014-01-05 14:32:15 560

原创 SQL-Oracle05数据库更新操作

数据库更新操作：数据库的主要操作分为两种：数据库的查询操作：SELECT 数据库的更新操作：INSERT(增加)/UPDATE(修改，更新)/DELETE(删除)此时，为了保存原始的emp表的信息，在进行增加、修改、删除操作之前先将此表复制一份。CREATE TABLE myemp AS SELECT * FROM emp;此语句执行之后，会将表结构及数据完整的复制出

2014-01-05 14:31:07 818

原创 SQL-Oracle04事务处理

事务处理eg:创建一个只包含10部门雇员的一张临时表CREATE TABLE emp10 AS SELECT * FROM emp WHERE deptno=10 ;eg：删除emp10表中的7782雇员。SELECT * FROM emp10 WHERE empno=7782 ;从当前的窗口中发现，此时数据被删除了。但是，现在开启第二个窗口，再次查询emp10表，观察

2014-01-05 14:30:24 722

原创 SQL-Oracle03-子查询

子查询：在一个查询的内部还包含另外一个查询可在任意地方加入子查询代码,放在"()"中eg：查询出比7654工资要高的全部雇员的信息。首先清楚7654雇员的工资是多少SELECT sal FROM emp WHERE empno=7654 ; 之后要以以上结果作为查询依据，只要是其他的工资大于sal，则表示符合条件。SELECT * FROM emp;FR

2014-01-05 14:29:27 724

原创 SQL语句-Oracle02-多表查询

多表查询：select {distinct}*|查询列1 别名1,查询列2 别名2,...from 表名称1 别名1,表名称 2 别名2,...{where 条件(s)}{order by 排序字段 ASC|DESC,排序字段 ASC|DESC,...} eg:对emp(14条记录)和dept(4条记录)两张表进行查询：select * from emp,dept;

2014-01-05 14:28:29 682

原创 SQL语句-Oracle01

查询表的所需列：select empno,ename,job from emp;查询时给列起别名：select empno 编号,ename 姓名, job 工作 from emp;消除查询的重复列：(若查询多列则必须保证所查询的所有列均有重复值)select {distinct} *|具体的列别名from 表名称;控制查询出来的格式：oracle中的字符串连

2014-01-05 14:27:24 760

原创 Hadoop-基于DistributedCache的复制联结

基于DistributedCache的复制联结(其中一个连接表必须小到可以放到内存中)public class DataJoinDC extends Configured implements Tool { public static class MapClass extends MapReduceBase implements Mapper{ ... } public

2014-01-05 14:23:33 1338

原创 hadoop-Reduce侧联结

链接不同来源的数据：Reduce侧的联结、DATAJOIN软件包实现联结、 DATAJOIN软件包实现了联结的数据流其中有3个可供继承和具体化的抽象类：DataJoinMapperBase、DateJoinReducerBase和TaggedMapOutput在数据流中mapper输出的包带有一个（组）键和一个被标签记录的值。datajoin包指定（组）键为Text类型，而

2014-01-05 14:22:04 1211

原创 hadoop hdfs常用命令

hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt

2014-01-05 14:17:34 1188

云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获

2014-01-05 14:10:36 1473 1

原创 hadoop集群搭建——hadoop安装

Hadoop集群搭建–Hadoop安装目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到

2014-01-05 14:08:57 902

原创 hadoop入门

目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。先决条件支持平台GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于

2014-01-05 14:07:09 631

原创 hadoop和云计算的关系

Hadoop主要是由HDFS和MapReduce组成，HDFS是一个分布式文件系统（Hadoop Distributed File System），MapReduce则是用于并行处理大数据集的软件框架。因此，Hadoop是一个能够对大量数据进行分布式处理的软件框架，它是一种技术的实现。Hadoop是Apache基金会下的一款开源软件，它实现了包括分布式文件系统HDFS和MapReduce框

2014-01-05 14:05:31 1994

原创利用HDFS java API增删改查操作

利用HDFS java API增删改查操作在做这个实验的时候需要特别注意下面三个问题：1、hdfs安全模式需要关闭命令：./hadoop dfsadmin -safemode leave2、工程中依赖的版本必须和集群的一致，否则也会报 version不一致错误3、hadoop集群用户权限的问题，以及各个目录的作用目前为什么会有这三个问题的原因待查！！！未验证目前使用hado

2014-01-05 14:03:50 1219

原创利用hdfs搭建网盘

利用hdfs搭建网盘–webserver开发，描述下实现思路：1、网盘系统中的webserver是用来给用户提供操作界面，接收用户指令，完成文件上传、下载、图片上传、下载和图片预览功能的。2、其中关于存储相关的功能都是调用hdfs API来完成，而关于文件的相关结构化信息都存储在mysql关系型数据库中；3、webserver起到的是连接客户和hdfs的作用4、采用的是SSH框架（

2014-01-05 14:01:30 5387 6

原创 hadoop概述

Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示：采用

2014-01-05 13:49:28 761