lpxuan151009的专栏

原创 励志

但管努力，莫问前程，事在人为，功不唐捐。年轻的却是一笔最好的财富，而多数时候，我们不知道如何运用这笔最宝贵的财富，将之挥霍一空了。所有平凡的日子加起来，就将汇集成了你的一生。如果不希望平淡的生活下去，就要更加努力的去拼搏。找到自己的偶像，追赶他，榜样的力量是无穷的；找到自己的竞争对手加朋友，与之一起战斗，你能走多远，在于你和谁一起同行。虽然现实残酷，时常迷茫，不知所措，但我总提醒自己，要乐

原创 ubuntu安装配置hadoop和hive

1、下载jdk并配置环境变量http://www.oracle.com/technetwork/java/javase/downloads/index.htmlls-rwxr--r--  1 lpxuan lpxuan 85141056 2011-06-21 18:44 jdk-6u26-linux-i586.bin*-rw-r--r--  1 lpxuan lpxuan  6599796 201

原创 SSH设置不输入密码登陆方式

SSH设置在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。--遇到这个问题ssh: connect to host localhost port 22:connection refusedubunt

原创 ubuntu修改主机名

--修改主机名.启用root用户运行命令 sudo passwd root 为root用户设置密码2.以root用户身份登录1）编辑文件/etc/hosts 将下面的一行127.0.1.1    xxxxx替换为127.0.1.1    newhostname2) 编辑 /etc/hostname文件 删除该文件的所有内容，添加newho

原创 ubuntu下安装Java并设置环境变量

1.安装JDK并设置Java环境变量下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.htmlchmod u+x jdk-6u10-rc-bin-b28-linux-i586-21_jul_2008.bin安装JDK:sudo /hom

转载 数据仓库设计的思考

   讲到数据仓库，很多人就会想到首先按照行业规范和客户需求调研、做源系统数据分析，然后设计主题，最后设计应用所需的事实表、维表；结构上基本分为三层：ODS-DW-DM。从理论的角度来看，数据仓库就是数据驱动的、稳定的、指标统一、能存放所有历史数据的；从需求方的角度来看，能满足他们所有的报表、查询和分析数据需求；从开发人员的角度来看，能够快速、高效、便捷的从数据仓库中取到数据，完成项目

原创 业界经典语录

1.在软件开发领域中，唯一的不变就是变化。

原创 Python发送WEB请求，并对WEB内容进行解析

Python发送WEB请求，并对WEB内容进行解析

转载 鲜为人知的软件项目管理原则

鲜为人知的软件项目管理原则

转载 Oracle性能调优-优化排序操作

Oracle性能调优-优化排序操作

原创 ORA-01536: space quota exceeded for tablespace

ORA-01536: space quota exceeded for tablespace

转载 渐变维度（Slowly Changing Dimension）及其处理方法

渐变维度（Slowly Changing Dimension）及其处理方法

转载 在存储过程中拥有role的权限(Authid Current_User)

在存储过程中拥有role的权限(Authid Current_User)

转载 oracle物化视图(materialized view)

oracle物化视图(material view)

转载 ETL基本概念

ETL基本概念

原创 oracle with

oracle with as

原创 Linux grep命令

1. grep简介 　　grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、 egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是gr

原创 oracle体系架构

　一、ORACLE实例1、ORACLE 实例　System Global Area(SGA) 和 Background Process 称为数据库的实例。2、ORACLE 数据库　　一系列物理文件的集合（数据文件，控制文件，联机日志，参数文件等）3、系统全局共享区System Global Area(SGA)System Global Area 是一块巨大的共享内存区域

原创 sql*plus spool

关于SPOOL(SPOOL是SQLPLUS的命令，不是SQL语法里面的东西。) 对于SPOOL数据的SQL，最好要自己定义格式，以方便程序直接导入,SQL语句如：SQL> select owner|||||object_name from all_objects where object_type = TABLE and rownum OWNER|||||OBJEC

原创 oracle sql*plus

SQL*PLUS命令学习：Oracle的SQL*PLUS是与oralce进行交互的客户端工具。在sql*plus中，可以运行sql*plus命令与sql*plus语句。我们通常所说的DML、DDL、DCL语句都是sql*plus语句，它们执行完后，都可以保存在一个被称为sql buffer的内存区域中，并且只能保存一条最近执行的sql语句，我们可以对保存在sql buffer中的sql 语

原创 统计分析方法分类

统计分析方法：1）数据的统计推断：参数估计与假设检验方差分析： (proc anova/glm(多因子非均衡时使用))（要求所研究的指标具有独立性，正态性和方差齐性）研究若干个因素及因素间的交互作用对一个（或多个）指标的影响，解决如下的问题：a、对指标的影响，哪些因素重要，哪些因素不重要b、每个因素中哪种水平对指标来说最好c、各因素以

原创 数据挖掘常见分析方法

数据挖掘常见分析方法一、回归分析目的：设法找出变量间的依存(数量)关系, 用函数关系式表达出来。所谓回归分析法，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析

原创 数据挖掘方法论-SEMMA

SAS研究所不仅有丰富的工具供你选用，而且在多年的数据处理研究工作中积累了一套行之有效的数据挖掘方法论──SEMMA，通过使用SAS技术进行数据挖掘，我们愿意和你分享这些经验：_  Sample──数据取样_  Explore──数据特征探索、分析和予处理_  Modify──问题明确化、数据调整和技术选择_  Model──模型的研发、知识的发现_  Assess──模型和知

原创 数据挖掘方法论crisp-DM

CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘过程标准". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(数据引自Cios and Kurgan于2005年合著的论文trands in data minin

转载 世界上应该珍惜的五个人

1、世界上有一个人， 和你在一起的时候，总是千万次嘱咐要多穿件衣服，要注意安全，你觉得很烦人，却也觉得很温暖。 没钱的时候，他总会说些赚钱不易之类的话来训你，边教训，边塞钱给你。 这个人，叫做父母。 2、世界上有一个人， 和你在一起时候，偶尔会和你打架，偶尔会和你斗嘴。他坏道总是抢你点心，总是向父母打小报告，但也总是爱护你比谁都多，你们有最亲密，最亲密的关系。这个人，叫手足。 3、世界上有一个人，

原创 数据挖掘常见软件

传统的数据挖掘套件(Classic suites)：SAS Enterprise Miner 5.3SPSS Clementine 12 开源数据挖掘软件(Open Source)：RapidMiner 4.2KNIME 1.3.5Weka 3.4.13 自动化数据挖掘软件(Self-Acting)：KXEN Analytic Framework 4.04 专门化的数据挖掘软件(Specializ

转载 每个人必须知道的社会生活十二大著名法则

 每个人必须知道的社会生活十二大著名法则一、 马太效应二、 手表定理三、 不值得定律四、 彼得原理五、 零和游戏原理六、 华盛顿合作规律七、 酒与污水定律八、 水桶定律九、 蘑菇管理十、 奥卡姆剃刀定律十一、 二八法则十二、 钱的问题一、马太效应    《新约·马太福音》中有这样一个故事，一个国王远行前，交给三个仆人每人一锭银子，吩咐他们：“你们去做生意，等我回来时，再来见我。

原创 电子商务推荐算法

转载 毕业5年决定一生

正如"打工皇帝"唐骏说："我觉得有两种人不要跟别人争利益和价值回报。第一种人就是刚刚进入企业的人，头5年千万不要说你能不能多给我一点儿工资，最重要的是能在企业里学到什么，对发展是不是有利……"­人总是从平坦中获得的教益少，从磨难中获得的教益多；从平坦中获得的教益浅，从磨难中获得的教益深。一个人在年轻时经历磨难，如能正确视之，冲出黑暗，那就是一个值得敬慕的人。最要紧的是先练好内功，毕业后这5

转载 三国中最精辟的十句话

三国中最精辟的十句话第十位：“人中吕布，马中赤兔” 一共八个字却称赞了两件事物，足可见微言大义的春秋笔法。而且朗朗上口，妇孺皆宜。后来关羽虽然也得到了赤兔，但也没听别人这么说过，估计作者肯定是吕温侯的FANS，否则也不会这么肉麻。精辟指数：5.5 第九位：“马氏五常，白眉最良” 老马家五个儿子，为大家熟知的只有马良，马谡哥俩。马良的确才华出众，为刘备坐稳西川出了不少力，可惜死得较早。马谡虽说智

原创 小笑话集锦

小笑话集锦 1.时间就想乳沟一样，挤一挤总是有的。2. 老师给小朋友解释：“乳”就是“小”的意思。比如“乳猪”就是“小猪”，“乳鸽”就是“小鸽”。小明，请你用“乳”字造个句。 小明：我家经济条件不太好，只能住40平米的乳房。 老师：（我晕）……这个不行。换一个。 小明：我每天上学都要跳过我家门口的一条乳沟。 老师：（晕死）……不行，再换一个。 小明：…………老师，我

原创 数据集市

1.  什么是数据集市？数据集市与数据仓库的区别？       数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面

原创 ETL模型设计

        传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。   

转载 如何分析执行计划

如何分析执行计划? 假设LARGE_TABLE是一个较大的表，且username列上没有索引，则运行下面的语句：　　SQL> SELECT * FROM LARGE_TABLE where USERNAME = ‘TEST’;　　Query Plan　　-----------------------------------------　　SELECT STATEMENT

原创 如何改变oracle的执行计划（HINT）

如何改变oracle的执行计划？1）/*+ALL_ROWS*/ 表明对语句块选择基于开销的优化方法,并获得最佳吞吐量,使资源消耗最小化Eg: SELECT /*+ALL_ROWS*/ t.empno,t.ename FROM lpx_emp t WHERE t.empno >70002）/*+FIRST_ROWS*/ 表明对语句块选择基于开销的优化方法,并获得最佳响应时间.

原创 查看执行计划

如何产生执行计划？1） autotrace准备PLAN_TABLE，/rdbms/admin/utlxplan.sql  /sqlplus/admin/plustrace.sqlgrant plustrace to user_name;用法: SET AUTOT[RACE] {OFF | ON | TRACE[ONLY]} [EXP[LAIN]] [STAT[ISTICS]]

原创 表之间的连接

   表之间的连接表的连接是指在一个SQL语句中通过表与表之间的关联，从一个或多个表检索出相关的数据。连接是通过SQL语句中FROM从句的多个表名，以及WHERE从句里定义的表之间的连接条件来实现的。如果一个SQL语句的关联表超过两个，那么连接的顺序如何呢？ORACLE首先连接其中的两个表，产生一个结果集；然后将产生的结果集与下一个表再进行关联；继续这个过程，直到所有的表都连接完成；最后产生所

原创 oracle SQL表执行路径（表扫描方式）

oracle SQL表执行路径（表扫描方式）        优化器在形成执行计划时需要做的一个重要选择是如何从数据库查询出需要的数据。对于sql语句存取的任何表中的任何行，可能存在许多存取路径，通过它们可以定位和查询出需要的数据。优化器会选择其中自认为最优化的路径。在物理层，oracle读取数据，一次读取的最小单位为数据库块，一次读取的最大值由操作系统一次I/O的最大值与mulitbloc

原创 oracle执行计划相关概念

oracle执行计划相关概念 1.     什么是执行计划？为什么要了解执行计划？为了执行一条sql语句，oracle可能必须要执行某些步骤的操作，每一步骤可能是从数据库中物理检索数据行，或者用某种方法准备数据行，供发出语句的用户使用。Oracle用来执行语句的这些步骤的组合即为执行计划。执行计划是sql优化中最为复杂也是最为关键的部分，只有知道了oracle在内部到底是如何执行该sq

原创 牛人博客链接

http://www.blogjava.net/wxqxs/archive/2009/05/02/277302.html http://blog.chinaunix.net/u/30637/article_108105.html  http://xsb.itpub.net/post/419/453401