lpxuan151009的专栏

ChrisLee
私信 关注
lpxuan151009
码龄14年

专注数据模型架构,数据仓库,海量数据处理.

  • 358,912
    被访问量
  • 100
    原创文章
  • 16,335
    作者排名
  • 93
    粉丝数量
  • 于 2007-04-30 加入CSDN
获得成就
  • 获得23次点赞
  • 内容获得34次评论
  • 获得51次收藏
荣誉勋章
TA的专栏
  • .NET
    11篇
  • C/C++
  • 数据分析
    7篇
  • Data Warehouse
    5篇
  • Hadoop&Hive
    25篇
  • JAVA
    28篇
  • linux
    3篇
  • OA系统之工作流
    1篇
  • ORACLE之BI
    1篇
  • oracle性能优化
    13篇
  • oracle基础
    8篇
  • Python
  • 数据库应用与开发
    6篇
  • 杂谈
    8篇
  • 职业规划
    6篇
  • 项目管理
    1篇
  • 产品设计
    1篇
  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

hadoop生态系统

【转】近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展。尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效几十倍,几百倍。有一些无知的人,总是跟着瞎起哄,说Impala将取代Hive,Spark将取代Hadoop MapReduce等。本文则从问题域触发,解释说明Hadoop中每个系统独特的作用
转载
2535阅读
0评论
1点赞
发布博客于 8 年前

HIVE-UDF之MD5密钥算法实现

/** * Project: UDFTest *  * File Created at 2012-11-28 * $Id$ *  * Copyright 1999-2100 Alibaba.com Corporation Limited. * All rights reserved. * * This software is the confidential a
原创
4923阅读
0评论
1点赞
发布博客于 9 年前

Hadoop MapReduce:详解Shuffle过程

http://langyu.iteye.com/blog/992916讲的很详细
转载
1290阅读
0评论
1点赞
发布博客于 9 年前

Hive优化(5)之选择合适的map数

Hive是基于Hadoop分布式框架下的数据仓库解决方案,可以方便地对数据进行清洗、转化和加载。Hive处理海量数据是数据仓库的基本需求,而如何通过hive充分利用Hadoop集群的分布式并行功能就至关重要。如果不能充分利用分布式并行处理,那么处理大数据量就会变得低效。而一张数据表需要多少个map来处理和一个map处理多少数据记录,都会影响到海量数据处理的效率。
原创
1099阅读
0评论
0点赞
发布博客于 9 年前

hive cli

Hive Cli  = hive启动  = *$ hive –f script.q *$ hive -e 'SELECT *FROM dummy‘ *$ hive -S -e 'SELECT* FROM dummy‘ *$ hive -hiveconfhive.root.logger=DEBUG,console  = set  = *hive>SET hive.
原创
1877阅读
0评论
0点赞
发布博客于 9 年前

hive优化(4)之mapjoin和union all避免数据倾斜

发生数据倾斜时,通常的现象是:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成。查看未完成的子任务,可以看到本地读写数据量积累非常大,通常超过10GB可以认定为发生数据倾斜。数据倾斜一般是由于代码中的join或group by或distinct的key分布不均导致的,大量经验表明数据倾斜的原因是人为的建表疏忽
原创
7196阅读
1评论
1点赞
发布博客于 9 年前

Hive优化(3)之随机数避免数据倾斜

发生数据倾斜时,通常的现象是:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成。查看未完成的子任务,可以看到本地读写数据量积累非常大,通常超过10GB可以认定为发生数据倾斜。数据倾斜一般是由于代码中的join或group by或distinct的key分布不均导致的,大量经验表明数据倾斜的原因是人为的建表疏忽或业务可以规
原创
8584阅读
1评论
0点赞
发布博客于 9 年前

在Oracle中利用SQL_TRACE跟踪SQL的执行

源自http://blog.csdn.net/kkdelta/article/details/7980061当你在执行一条SQL语句非常慢的时候,你是不是想问Oracle怎么执行这条语句的呢?Oracle提供的SQL_TRACE工具可以让你知道你执行的SQL究竟做了什么.执行的过程会被输出到trace文件中.下面用例子来跟踪一个SQL语句的执行情况:SQL> create
转载
2239阅读
0评论
0点赞
发布博客于 9 年前

Hadoop计算文件大小

//Hadoop计算文件大小:public static void main(String[] args) throws IOException{      String tablePath= pathPrefix + args[0].toLowerCase().trim();      Path p = new Path(tablePath);      JobConf co
原创
2651阅读
0评论
0点赞
发布博客于 9 年前

hive中间接实现不等值连接

由于hive中不支持不等值连接,给应用带来不便。create tablelpx_test_a as select id,class from (select 1 as id, 2 asclass from dual union allselect 2 as id, 3 asclass from dualunion allselect 3 as id, 4 asc
原创
11615阅读
1评论
0点赞
发布博客于 9 年前

Hive优化(2)之系统评估reduce数为1的MR Job优化

名词解释:云霄飞车:hive本身对MR Job的 reduce数估算不合理,导致reduce分配过少,任务运行很慢,云霄飞车项目主要对hive本身reduce数的估算进行优化。map_input_bytes:map输入文件大小,单位:bytesmap_output_bytes:map输出文件大小,单位:bytes 优化背景:云霄飞车一期存在如下问题:只能优化reduce
原创
8590阅读
1评论
0点赞
发布博客于 9 年前

hive优化(1)之mapjoin

hive> create table lpx_mapjoin as   > SELECT '2012-04-17' as stat_date    >        ,b.admin_member_id   >        ,a.category_level2_id   >        ,b.keywords   >        ,sum(shownum) as sum_
原创
6423阅读
0评论
0点赞
发布博客于 9 年前

hive源码解析(2)之编译前序

Antlr(ANother Tool for LanguageRecognition)ü     一种语言识别工具 ü     Antlr提供了一种语言工具框架 ü     定义标示符,关键字(词法分析) ü     定义表达式(语法分析)ü     可以将文本转换成抽象语法树(AST)ü     树的解析(树分析器)  (1)词法分析器Lexerü  词法分析
原创
2961阅读
0评论
0点赞
发布博客于 9 年前

hive源码解析(1)之hive执行过程

1.入口  /bin/cli.sh       调用CliDriver类进行初始化过程 Ø   处理 -e, -f,-h等信息,如果是-h,打印提示信息,并退出 Ø   读取hive的配置文件,设置HiveConfØ   创建一个控制台,进入交互模式2.在交互方式下,读取每一个输命令行,直到’;’为止,然后提交给processLine(cmd)方法处理,该方法将输入的流以;分割
原创
12937阅读
2评论
4点赞
发布博客于 9 年前

Hadoop如何计算map数和reduce数

Hadoop在运行一个mapreduce job之前,需要估算这个job的maptask数和reducetask数。首先分析一下job的maptask数,当一个job提交时,jobclient首先分析job被拆分的split数量,然后吧job.split文件放置在HDFS中,一个job的MapTask数量就等于split的个数。job.split中包含split的个数由FileInputFor
原创
10480阅读
0评论
0点赞
发布博客于 9 年前

hive-udf

--指数化处理热度*(π-1.8),然后四舍五入后分段分段规则:【段),>50&段),>100&段),>1000&段),>5000(1000/段)】向上取段 结果在50以下的,每1为一个段结果在50-100之间的,每10为一个段,结果在100和1000之间的,每30为一个段结果在1000和5000之间,每100为一个段结果在5000以上,每1000为一个段
原创
1529阅读
0评论
0点赞
发布博客于 9 年前

2012来了

2011去了,2012来了,找准方向,前进。
原创
516阅读
0评论
0点赞
发布博客于 9 年前

在职场中获得认可12个妙招

每个在职场打拼的人都希望自己的工作能为自己赢得在同事中的认同。老板的肯定以及公司中位置的上升。想一想,你在这里工作还图什么别的呢?    为了达到这一步,我们总是会接下难以完成的工作或自己根本不愿意做的工作,然后挑战疯狂的截止时间,让自己被工作压到透不过气。当然,这些行为可以
转载
625阅读
0评论
0点赞
发布博客于 10 年前

简单抽样和复杂抽样

简单抽样。从下列选项中选择抽样方法:a)从第一条记录开始连续抽取。选择此选项将使用连续数据抽样。例如,如果最大样本大小设置为 10000,则前 10000 条记录会被选中。b) n 中取 1。选择此选项会按照这样的方式抽样数据:每隔 n 个记录传递或丢弃一次。例如
原创
2450阅读
0评论
0点赞
发布博客于 10 年前

常见统计量

最小值. 数值变量的最小值。最大值. 数值变量的最大值。总数. 所有具有缺失值的测量值的总和或合计。范围.数值变量的最大值与最小值的差值就是用最大值减最小值后得出的值。平均值. 集中趋势的测量。 算术平均值,等于总和除以观测值数。均值标准误
原创
2966阅读
1评论
0点赞
发布博客于 10 年前

数据标准化

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。  其中最典型的就是数据的归一化处理,即将数据统一映射到[
原创
2715阅读
0评论
0点赞
发布博客于 10 年前

hive用户自定义函数

hive用户自定义函数
原创
2862阅读
0评论
0点赞
发布博客于 10 年前

hive sql order by 与sort by

hive sql order by 与sort by
原创
9247阅读
0评论
0点赞
发布博客于 10 年前

hive cli

hive cli
原创
1032阅读
0评论
0点赞
发布博客于 10 年前

hive sql分区表

hive sql分区表介绍
原创
4650阅读
0评论
0点赞
发布博客于 10 年前

产品设计之二:优化你的产品细节

产品设计之二:优化你的产品细节
转载
812阅读
0评论
0点赞
发布博客于 10 年前

产品设计的原则之一:精简你的产品

产品设计的原则之一:精简你的产品
转载
864阅读
1评论
0点赞
发布博客于 10 年前

hive sql执行计划

hive sql执行计划
原创
12835阅读
0评论
0点赞
发布博客于 10 年前

java servlet实例

java servlet实例
原创
16529阅读
1评论
0点赞
发布博客于 10 年前

java bean实例

java bean实例
原创
1105阅读
0评论
0点赞
发布博客于 10 年前

ibatis入门

ibatis入门
原创
800阅读
0评论
0点赞
发布博客于 10 年前

hive安装配置

hive安装配置
原创
3085阅读
1评论
0点赞
发布博客于 10 年前

eclipse运行hadoop wordcount example

eclipse运行hadoop wordcount example
原创
9445阅读
0评论
0点赞
发布博客于 10 年前

windows下安装配置hadoop

windows下安装配置hadoop
原创
6740阅读
0评论
0点赞
发布博客于 10 年前

hadoop wordcount运行实例

hadoop wordcount运行实例
原创
1331阅读
0评论
0点赞
发布博客于 10 年前

oracle模糊查询:分区局部全文索引方式(四)

DATABASE:dwtest(210开发库)--按根级行业ID和大洲进行混合分区DROP TABLE iquery.lpx_kw_tmp02_bak2;CREATE TABLE iquery.lpx_kw_tmp02_bak2( KEYWORDS                                           VARCHAR2(256) ,REGIN_
原创
1452阅读
0评论
0点赞
发布博客于 10 年前

oracle模糊查询:全文索引方式(三)

--test:DATABASE:dwtest(210开发库)SQL> desc iquery.lpx_kw_tmp02Name               Type          Nullable Default Comments ------------------ ------------- -------- ------- -------- KEYWORDS 
原创
3363阅读
0评论
0点赞
发布博客于 10 年前

oracle模糊查询(二)

通过混合分区方式较少模糊匹配的数据集,已达到提升性能的目的。 --混合分区方式DATABASE:dwtest(210开发库)--词搜索底层表SQL> desc iquery.lpx_kw_tmp02Name               Type          Nullable Default Comments ------------------ -------
原创
2002阅读
0评论
0点赞
发布博客于 10 年前

oracle模糊查询(一)

 546@iquery@ALIDW>desciquery.lpx_kw_tmp00 Name                                                                                                 Null?    Type -------------------------
原创
813阅读
0评论
0点赞
发布博客于 10 年前

Java实现字符串数组组合

/** * date: 2011-6-27 * author:pengxuan.lipx * remark:combine the adj keywords for lmsj */import java.lang.StringBuffer;public class CombineKeywords{ public static void main(String[] arg
原创
2902阅读
0评论
0点赞
发布博客于 10 年前

励志

但管努力,莫问前程,事在人为,功不唐捐。年轻的却是一笔最好的财富,而多数时候,我们不知道如何运用这笔最宝贵的财富,将之挥霍一空了。所有平凡的日子加起来,就将汇集成了你的一生。如果不希望平淡的生活下去,就要更加努力的去拼搏。找到自己的偶像,追赶他,榜样的力量是无穷的;找到自己的竞争对手加朋友,与之一起战斗,你能走多远,在于你和谁一起同行。虽然现实残酷,时常迷茫,不知所措,但我总提醒自己,要乐
原创
544阅读
0评论
0点赞
发布博客于 10 年前

呵呵

http://topic.csdn.net/u/20110610/14/F8AD766F-7CF9-4225-891E-84F7A5DDB81C.html1、哥守了17年的处男身,终于在昨天晚上………………变成18年了。 2、一个比红钻还红的女人,爱上了一个比黄钻还黄的男人。最后来了个比绿钻还绿的小三,生出个儿子,叫会员。 3、别以为你上课发短信我不知道 , 有谁会对着
转载
731阅读
0评论
0点赞
发布博客于 10 年前

ubuntu安装配置hadoop和hive

1、下载jdk并配置环境变量http://www.oracle.com/technetwork/java/javase/downloads/index.htmlls-rwxr--r--  1 lpxuan lpxuan 85141056 2011-06-21 18:44 jdk-6u26-linux-i586.bin*-rw-r--r--  1 lpxuan lpxuan  6599796 201
原创
5903阅读
0评论
0点赞
发布博客于 10 年前

SSH设置不输入密码登陆方式

SSH设置在Hadoop启动以后,Namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。--遇到这个问题ssh: connect to host localhost port 22:connection refusedubunt
原创
2740阅读
0评论
0点赞
发布博客于 10 年前

ubuntu修改主机名

--修改主机名.启用root用户运行命令 sudo passwd root 为root用户设置密码2.以root用户身份登录1)编辑文件/etc/hosts 将下面的一行127.0.1.1    xxxxx替换为127.0.1.1    newhostname2) 编辑 /etc/hostname文件 删除该文件的所有内容,添加newho
原创
848阅读
0评论
0点赞
发布博客于 10 年前

ubuntu下安装Java并设置环境变量

1.安装JDK并设置Java环境变量下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.htmlchmod u+x jdk-6u10-rc-bin-b28-linux-i586-21_jul_2008.bin安装JDK:sudo /hom
原创
673阅读
0评论
0点赞
发布博客于 10 年前

数据仓库设计的思考

   讲到数据仓库,很多人就会想到首先按照行业规范和客户需求调研、做源系统数据分析,然后设计主题,最后设计应用所需的事实表、维表;结构上基本分为三层:ODS-DW-DM。从理论的角度来看,数据仓库就是数据驱动的、稳定的、指标统一、能存放所有历史数据的;从需求方的角度来看,能满足他们所有的报表、查询和分析数据需求;从开发人员的角度来看,能够快速、高效、便捷的从数据仓库中取到数据,完成项目
转载
842阅读
0评论
0点赞
发布博客于 10 年前

业界经典语录

1.在软件开发领域中,唯一的不变就是变化。
原创
777阅读
0评论
0点赞
发布博客于 10 年前

Python发送WEB请求,并对WEB内容进行解析

Python发送WEB请求,并对WEB内容进行解析
原创
2206阅读
0评论
0点赞
发布博客于 10 年前

鲜为人知的软件项目管理原则

鲜为人知的软件项目管理原则
转载
859阅读
0评论
1点赞
发布博客于 11 年前

Oracle性能调优-优化排序操作

Oracle性能调优-优化排序操作
转载
9042阅读
0评论
0点赞
发布博客于 11 年前

ORA-01536: space quota exceeded for tablespace

ORA-01536: space quota exceeded for tablespace
原创
1307阅读
0评论
0点赞
发布博客于 11 年前

渐变维度(Slowly Changing Dimension)及其处理方法

渐变维度(Slowly Changing Dimension)及其处理方法
转载
3604阅读
1评论
1点赞
发布博客于 11 年前

在存储过程中拥有role的权限(Authid Current_User)

在存储过程中拥有role的权限(Authid Current_User)
转载
1298阅读
0评论
0点赞
发布博客于 11 年前

oracle物化视图(materialized view)

oracle物化视图(material view)
转载
742阅读
0评论
0点赞
发布博客于 11 年前

ETL基本概念

ETL基本概念
转载
1353阅读
0评论
0点赞
发布博客于 11 年前

oracle with

oracle with as
原创
958阅读
0评论
0点赞
发布博客于 11 年前

Linux grep命令

1. grep简介   grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。Unix的grep家族包括grep、 egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是gr
原创
457阅读
0评论
0点赞
发布博客于 11 年前

oracle体系架构

 一、ORACLE实例1、ORACLE 实例 System Global Area(SGA) 和 Background Process 称为数据库的实例。2、ORACLE 数据库  一系列物理文件的集合(数据文件,控制文件,联机日志,参数文件等)3、系统全局共享区System Global Area(SGA)System Global Area 是一块巨大的共享内存区域
原创
673阅读
0评论
0点赞
发布博客于 11 年前

sql*plus spool

关于SPOOL(SPOOL是SQLPLUS的命令,不是SQL语法里面的东西。) 对于SPOOL数据的SQL,最好要自己定义格式,以方便程序直接导入,SQL语句如:SQL> select owner|||||object_name from all_objects where object_type = TABLE and rownum OWNER|||||OBJEC
原创
1570阅读
0评论
0点赞
发布博客于 11 年前

oracle sql*plus

SQL*PLUS命令学习:Oracle的SQL*PLUS是与oralce进行交互的客户端工具。在sql*plus中,可以运行sql*plus命令与sql*plus语句。我们通常所说的DML、DDL、DCL语句都是sql*plus语句,它们执行完后,都可以保存在一个被称为sql buffer的内存区域中,并且只能保存一条最近执行的sql语句,我们可以对保存在sql buffer中的sql 语
原创
922阅读
0评论
0点赞
发布博客于 11 年前

统计分析方法分类

统计分析方法:1)数据的统计推断:参数估计与假设检验方差分析: (proc anova/glm(多因子非均衡时使用))(要求所研究的指标具有独立性,正态性和方差齐性)研究若干个因素及因素间的交互作用对一个(或多个)指标的影响,解决如下的问题:a、对指标的影响,哪些因素重要,哪些因素不重要b、每个因素中哪种水平对指标来说最好c、各因素以
原创
10769阅读
1评论
2点赞
发布博客于 11 年前

数据挖掘常见分析方法

数据挖掘常见分析方法一、回归分析目的:设法找出变量间的依存(数量)关系, 用函数关系式表达出来。所谓回归分析法,是在掌握大量观察数据的基础上,利用数理统计方法建立因变量与自变量之间的回归关系函数表达式(称回归方程式)。回归分析中,当研究的因果关系只涉及因变量和一个自变量时,叫做一元回归分析;当研究的因果关系涉及因变量和两个或两个以上自变量时,叫做多元回归分析。此外,回归分析
原创
8432阅读
1评论
2点赞
发布博客于 11 年前

数据挖掘方法论-SEMMA

SAS研究所不仅有丰富的工具供你选用,而且在多年的数据处理研究工作中积累了一套行之有效的数据挖掘方法论──SEMMA,通过使用SAS技术进行数据挖掘,我们愿意和你分享这些经验:_  Sample──数据取样_  Explore──数据特征探索、分析和予处理_  Modify──问题明确化、数据调整和技术选择_  Model──模型的研发、知识的发现_  Assess──模型和知
原创
6985阅读
0评论
3点赞
发布博客于 11 年前

数据挖掘方法论crisp-DM

CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘过程标准". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(数据引自Cios and Kurgan于2005年合著的论文trands in data minin
原创
4553阅读
0评论
1点赞
发布博客于 11 年前

世界上应该珍惜的五个人

1、世界上有一个人, 和你在一起的时候,总是千万次嘱咐要多穿件衣服,要注意安全,你觉得很烦人,却也觉得很温暖。 没钱的时候,他总会说些赚钱不易之类的话来训你,边教训,边塞钱给你。 这个人,叫做父母。 2、世界上有一个人, 和你在一起时候,偶尔会和你打架,偶尔会和你斗嘴。他坏道总是抢你点心,总是向父母打小报告,但也总是爱护你比谁都多,你们有最亲密,最亲密的关系。这个人,叫手足。 3、世界上有一个人,
转载
774阅读
1评论
0点赞
发布博客于 11 年前

数据挖掘常见软件

传统的数据挖掘套件(Classic suites):SAS Enterprise Miner 5.3SPSS Clementine 12 开源数据挖掘软件(Open Source):RapidMiner 4.2KNIME 1.3.5Weka 3.4.13 自动化数据挖掘软件(Self-Acting):KXEN Analytic Framework 4.04 专门化的数据挖掘软件(Specializ
原创
3015阅读
0评论
1点赞
发布博客于 11 年前

每个人必须知道的社会生活十二大著名法则

 每个人必须知道的社会生活十二大著名法则一、 马太效应二、 手表定理三、 不值得定律四、 彼得原理五、 零和游戏原理六、 华盛顿合作规律七、 酒与污水定律八、 水桶定律九、 蘑菇管理十、 奥卡姆剃刀定律十一、 二八法则十二、 钱的问题一、马太效应    《新约·马太福音》中有这样一个故事,一个国王远行前,交给三个仆人每人一锭银子,吩咐他们:“你们去做生意,等我回来时,再来见我。
转载
849阅读
0评论
0点赞
发布博客于 11 年前

biee技术手册,biee初探,biee学习

biee初探,biee技术手册 biee技术手册,biee初探,biee学习biee技术手册,biee初探,biee学习
application/msword
发布资源于 12 年前

电子商务推荐算法

原创
897阅读
0评论
0点赞
发布博客于 12 年前

毕业5年决定一生

正如"打工皇帝"唐骏说:"我觉得有两种人不要跟别人争利益和价值回报。第一种人就是刚刚进入企业的人,头5年千万不要说你能不能多给我一点儿工资,最重要的是能在企业里学到什么,对发展是不是有利……"­人总是从平坦中获得的教益少,从磨难中获得的教益多;从平坦中获得的教益浅,从磨难中获得的教益深。一个人在年轻时经历磨难,如能正确视之,冲出黑暗,那就是一个值得敬慕的人。最要紧的是先练好内功,毕业后这5
转载
736阅读
0评论
0点赞
发布博客于 12 年前

三国中最精辟的十句话

三国中最精辟的十句话第十位:“人中吕布,马中赤兔” 一共八个字却称赞了两件事物,足可见微言大义的春秋笔法。而且朗朗上口,妇孺皆宜。后来关羽虽然也得到了赤兔,但也没听别人这么说过,估计作者肯定是吕温侯的FANS,否则也不会这么肉麻。精辟指数:5.5 第九位:“马氏五常,白眉最良” 老马家五个儿子,为大家熟知的只有马良,马谡哥俩。马良的确才华出众,为刘备坐稳西川出了不少力,可惜死得较早。马谡虽说智
转载
518阅读
0评论
0点赞
发布博客于 12 年前

小笑话集锦

小笑话集锦 1.时间就想乳沟一样,挤一挤总是有的。2. 老师给小朋友解释:“乳”就是“小”的意思。比如“乳猪”就是“小猪”,“乳鸽”就是“小鸽”。小明,请你用“乳”字造个句。 小明:我家经济条件不太好,只能住40平米的乳房。 老师:(我晕)……这个不行。换一个。 小明:我每天上学都要跳过我家门口的一条乳沟。 老师:(晕死)……不行,再换一个。 小明:…………老师,我
原创
716阅读
0评论
0点赞
发布博客于 12 年前

数据集市

1.  什么是数据集市?数据集市与数据仓库的区别?       数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面
原创
5785阅读
2评论
0点赞
发布博客于 12 年前

ETL模型设计

        传统的关系数据库一般采用二维数表的形式来表示数据,一个维是行,另一个维是列,行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型,通过标准的SQL语言来加以实现。数据仓库是多维数据库,它扩展了关系数据库模型,以星形架构为主要结构方式的,并在它的基础上,扩展出理论雪花形架构和数据星座等方式,但不管是哪一种架构,维度表、事实表和事实表中的量度都是必不可少的组成要素。   
原创
1688阅读
0评论
1点赞
发布博客于 12 年前

如何分析执行计划

如何分析执行计划? 假设LARGE_TABLE是一个较大的表,且username列上没有索引,则运行下面的语句:  SQL> SELECT * FROM LARGE_TABLE where USERNAME = ‘TEST’;  Query Plan  -----------------------------------------  SELECT STATEMENT
转载
979阅读
0评论
0点赞
发布博客于 12 年前

如何改变oracle的执行计划(HINT)

如何改变oracle的执行计划?1)/*+ALL_ROWS*/ 表明对语句块选择基于开销的优化方法,并获得最佳吞吐量,使资源消耗最小化Eg: SELECT /*+ALL_ROWS*/ t.empno,t.ename FROM lpx_emp t WHERE t.empno >70002)/*+FIRST_ROWS*/ 表明对语句块选择基于开销的优化方法,并获得最佳响应时间.
原创
1942阅读
0评论
0点赞
发布博客于 12 年前

查看执行计划

如何产生执行计划?1) autotrace准备PLAN_TABLE,/rdbms/admin/utlxplan.sql  /sqlplus/admin/plustrace.sqlgrant plustrace to user_name;用法: SET AUTOT[RACE] {OFF | ON | TRACE[ONLY]} [EXP[LAIN]] [STAT[ISTICS]]
原创
744阅读
0评论
0点赞
发布博客于 12 年前

表之间的连接

   表之间的连接表的连接是指在一个SQL语句中通过表与表之间的关联,从一个或多个表检索出相关的数据。连接是通过SQL语句中FROM从句的多个表名,以及WHERE从句里定义的表之间的连接条件来实现的。如果一个SQL语句的关联表超过两个,那么连接的顺序如何呢?ORACLE首先连接其中的两个表,产生一个结果集;然后将产生的结果集与下一个表再进行关联;继续这个过程,直到所有的表都连接完成;最后产生所
原创
873阅读
0评论
0点赞
发布博客于 12 年前

oracle SQL表执行路径(表扫描方式)

oracle SQL表执行路径(表扫描方式)        优化器在形成执行计划时需要做的一个重要选择是如何从数据库查询出需要的数据。对于sql语句存取的任何表中的任何行,可能存在许多存取路径,通过它们可以定位和查询出需要的数据。优化器会选择其中自认为最优化的路径。在物理层,oracle读取数据,一次读取的最小单位为数据库块,一次读取的最大值由操作系统一次I/O的最大值与mulitbloc
原创
1703阅读
0评论
0点赞
发布博客于 12 年前

oracle执行计划相关概念

oracle执行计划相关概念 1.     什么是执行计划?为什么要了解执行计划?为了执行一条sql语句,oracle可能必须要执行某些步骤的操作,每一步骤可能是从数据库中物理检索数据行,或者用某种方法准备数据行,供发出语句的用户使用。Oracle用来执行语句的这些步骤的组合即为执行计划。执行计划是sql优化中最为复杂也是最为关键的部分,只有知道了oracle在内部到底是如何执行该sq
原创
897阅读
0评论
0点赞
发布博客于 12 年前

牛人博客链接

http://www.blogjava.net/wxqxs/archive/2009/05/02/277302.html http://blog.chinaunix.net/u/30637/article_108105.html  http://xsb.itpub.net/post/419/453401
原创
583阅读
0评论
0点赞
发布博客于 12 年前

Oracle表连接方式之等值连接、外部连接

ORACLE 8i,9i 表连接方法。  一般的相等连接: select * from a, b where a.id = b.id; 这个就属于内连接。 对于外连接: Oracle中可以使用“(+) ”来表示,9i可以使用LEFT/RIGHT/FULL OUTER JOIN LEFT OUTER JOIN:左外关联 SELECT e.last_name, e.department_i
原创
4753阅读
4评论
0点赞
发布博客于 12 年前

优化数据库大幅度提高Oracle的性能

个简单的步骤大幅提高Oracle性能--我优化数据库的三板斧。 数据库优化的讨论可以说是一个永恒的主题。资深的Oracle优化人员通常会要求提出性能问题的人对数据库做一个statspack,贴出数据库配置等等。还有的人认为要抓出执行最慢的语句来进行优化。但实际情况是,提出疑问的人很可能根本不懂执行计划,更不要说statspack了。而我认为,数据库优化,应该首先从大的方面考虑:网络、服务器硬件
转载
735阅读
0评论
0点赞
发布博客于 12 年前

Oracle数据库重复数据删除的三种情况

在对数据库进行操作过程中我们可能会遇到这种情况,表中的数据可能重复出现,使我们对数据库的操作过程中带来很多的不便,那么怎么删除这些重复没有用的数据呢?    重复数据删除技术可以提供更大的备份容量,实现更长时间的数据保留,还能实现备份数据的持续验证,提高数据恢复服务水平,方便实现数据容灾等。 重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二种是两行记录完全一样。Oracle数据
转载
530阅读
0评论
0点赞
发布博客于 12 年前

IT职场人,切不要一辈子靠技术生存

IT职场人,切不要一辈子靠技术生存(转载)不管你是学习技术为了找工作还是创业,你都要对技术本身有个清醒的认识,在中国不会出现BILL GATES,因为,中国目前还不是十分的尊重技术人才,还仅仅的停留在把软件技术人才当作人才机器来用的尴尬境地。  一。 在中国你千万不要因为学习技术就可以换来稳定的生活和高的薪水待遇,你千万更不要认为哪些从事市场开发,跑腿的人,没有前途。  不知道你是不是知道,咱
转载
788阅读
0评论
0点赞
发布博客于 13 年前

Java开发环境配置_Eclipse

Java开发环境配置_Eclipse1.下载JDK1.6    http://java.sun.com/javase/downloads/index.jsp2.下载Tomcat5.0.28    http://tomcat.apache.org/3.下载Eclipse3.3    http://www.eclipse.org/downloads/4.下载MyEclips
原创
732阅读
0评论
0点赞
发布博客于 13 年前

Perhaps JAVA_HOME does not point to the JDK

Unable to find a javac compiler;  com.sun.tools.javac.Main is not on the classpath.Perhaps JAVA_HOME does not point to the JDK 解决方法:在Eclipse中Window->Preferences,找到Tomcat下的JVM Settings在ClassPath下添加
原创
1488阅读
1评论
0点赞
发布博客于 13 年前

java中操作xml几种方式的比较和代码示例(DOM,SAX,JDOM,DOM4J)

本文地址:http://blog.csdn.net/java2000_net/archive/2008/11/06/3241167.aspx1. 介绍     1)DOM(JAXP Crimson解析器)     DOM是用与平台和语言无关的方式表示XML文档的官方W3C标准。DOM是以层次结构组织的节点或信息片断的集合。这个层次结构允许开发人员在树中寻找特定信息。分析该结构通常需要加载整个文
转载
566阅读
0评论
0点赞
发布博客于 13 年前

技术路线的选择重要但不具有决定性

最近微软在技术上连续有大动作,在PDC上发布了Windows Azure云计算平台,预告了Visual Studio 2010、.NET 4.0和C# 4.0。如果放在几年前,我相信微软粉丝们一定是欢声雷动,不过这次情况有点不太一样,在网上看到有人在抱怨微软技术更新速度太快而且四面出击,还有人扬言要改弦更张,投奔Linux或者Java阵营。我本人也收到一封来信,写信人大意是说自己大学时选择.NET
转载
584阅读
0评论
0点赞
发布博客于 13 年前

数据库系统优化--业务逻辑设计优化

当我们优化一个系统时,有时发现一种情况就是自己修改SQL,索引以及分区是不能解决性能问题的。这时你要考虑业务逻辑优化和表设计的重构。这两点的确和设计结合的很紧密。   业务逻辑优化  结合实际,我们先谈谈业务逻辑优化。  案例一:  我们的系统一个文档模块,客户点击时很慢,通过性能分析,是点击是去查询数据库,这时系统是通过Hibernate来两步处理:  1,计算该类型的文档数
转载
591阅读
0评论
0点赞
发布博客于 13 年前

Java面试之判断对错

1.abstract class Name {   private String name;   public abstract boolean isStupidName(String name) {}}大侠们,这有何错误?答案: 错。abstract method必须以分号结尾,且不带花括号。 2.public class Something {   vo
原创
916阅读
0评论
0点赞
发布博客于 13 年前

Java对象实例化顺序

Java对象实例化顺序/** * @(#)InitialTest.java * * * @author  * @version 1.00 2008/8/3 */public class InitialTest2 extends InitialTest1 {    {        System.out.print("1");    }
原创
665阅读
0评论
0点赞
发布博客于 13 年前

用VS2005制造WEB安装程序

用VS2005制造WEB安装程序转自:http://blog.csdn.net/newhappy2008/archive/2008/06/29/2595850.aspx环境:windows2003 + vs2005+sqlserver2000 1、打开VS2005,打开工程或网站(这里的示例是一个已发布的网站系统).   2、从“解决方案资源管理器中”右键点击解决方案名称,选择“添
转载
691阅读
0评论
0点赞
发布博客于 13 年前

数据库的查询优化技术

数据库的查询优化技术数据库系统是管理信息系统的核心,基于数据库的联机事务处理(OLTP)以及联机分析处理(OLAP)是银行、企业、政府等部门最为重要的计算机应用之一。从大多数系统的应用实例来看,查询操作在各种数据库操作中所占据的比重最大,而查询操作所基于的SELECT语句在SQL语句中又是代价最大的语句。举例来说,如果数据的量积累到一定的程度,比如一个银行的账户数据库表信息积累到上百万甚至上千
转载
650阅读
0评论
0点赞
发布博客于 13 年前

Java通信编程之Socket入门

Java通信编程之Socket入门/** * @(#)ClientTest.java * * 客户端 * @author  * @version 1.00 2008/8/2 */import java.net.Socket;import java.io.IOException;import java.io.InputStreamReader;im
原创
1820阅读
0评论
0点赞
发布博客于 13 年前

Java实现排序算法(三)

六 归并排序算法思想是每次把待排序列分成两部分,分别对这两部分递归地用归并排序,完成后把这两个子部分合并成一个序列。归并排序借助一个全局性临时数组来方便对子序列的归并,该算法核心在于归并。Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/
转载
752阅读
0评论
0点赞
发布博客于 13 年前

Java实现排序算法(二)

为了便于管理,先引入个基础类:Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->package algorithms;/** * @author yovn * */public abstract class SorterE ext
转载
1020阅读
1评论
0点赞
发布博客于 13 年前

Java实现排序算法(一)

/** * @(#)SortTest.java * 排序算法 * * @author  * @version 1.00 2008/8/2 */public class SortTest {    /**     *选择排序     *在找到全局第i小的时候记下该元素位置,最后跟第i个元素交换,从而保证数组最终的有序    */   voi
原创
1022阅读
0评论
0点赞
发布博客于 13 年前

我想要的是什么,我真的清楚吗?

本文地址: http://blog.csdn.net/jobchanceleo/archive/2008/08/01/2750983.aspx 根源------你工作快乐么?你的工作好么?  有没有觉得干了一段时间以后工作很不开心?有没有觉得自己入错了行?有没有觉得自己没有得到应有的待遇?有没有觉得工作像一团乱麻每天上班都是一种痛苦?有没有很想换个工作?有没有觉得其实现在的公司并没
转载
1159阅读
0评论
1点赞
发布博客于 13 年前