迪塔维-CSDN博客

原创 hive实现txt数据导入，理解hadoop中hdfs、mapreduce

背景：通过hive操作，了解hadoop的hdfs、mapreduce。场景：hadoop双机集群、hive版本：hadoop和hive的版本搭配最和谐的是什么，目前没有定论，每种版本的搭配都会有一些bug出现。本例中版本：hadoop-1.0.3 hive-0.10.0-bin实现：将本地的网络访问日志文件导入到hive中。hive demo comm

2014-02-13 16:52:47 5585 1

原创大数据可视化小结

南京迪塔维对数据可视化的需求正急剧增长。一部分原因是更多的公司正在寻求通过对大数据分析来获得可视化的业务洞察力。大数据的可视化个人认为还是以仪表盘为展现的最终载体，当然仪表盘会包含移动端、云端和企业端。那么，仪表盘中的内容应该包含哪些？1、单纯的数字展示大数据的最终分析结果，其中有一种是对关键指标的计算结果，如：市场模糊占有率，总体情感指数，用户粘度

2014-02-06 00:20:56 5383

原创 Oracle BIEE启停脚本

作为BI的开发人员，经常启停BI服务在所难免，启动的过程又比较长，命令需要不同目录切换，简直烦死人呢，特意整理了linux中的启动脚本，将以下脚本存成biee.sh，后面的过程就相当简单了，启动：./biee.sh start停止 : ./biee.sh stop重启：./biee restart日志的观察：tail -f /var/log/obiee-s

2015-05-22 20:39:33 1542

原创 BIEE邮件代理配置

BIEE邮件代理配置点击”应用 “ 并”激活更改“ 重启应用二.代理的配置选择创建代理，能看到代理的具体配置页：主要用到的一般信息、调度、传送内容、收件人和目标。至于条件与操作的话有兴趣的可以自己研究。一般

2015-02-04 20:05:18 2542

原创常用税收风险管理指标

通过数据分析技术，实时计算风险预警指标数值，根据业务需要进行随机的组织和管理，保障税收风险管理更加合理和智能，常用税收风险管理指标如下：税基比对异常预提性质费用异常预警信息其他应付款异常预警信息其他应收款异常预警信息工资总额异常预警信息视同销售所得申报异常营业外支出申报异常捐赠支出申报异常新增资本公积异常期间费用其他项目申报异常劳务费用异常预警信息会

2015-01-22 15:22:18 3815

原创通过ambari来搭建hadoop集群（1）

准备环境192.168.80.10 Master Master.Hadoop192.168.80.11 Slave1 Slave1.Hadoop192.168.80.12 Slave2 Slave2.Hadoop三台机器均为Centos_x64_6.5 Master主节点配置4G内存另两台Slave配置为2G内存由于通过在线安装的方式未能安装成功，转换思路将在本地建yum源的

2014-12-25 19:51:00 1814

原创 Excel自带数据分析工具

对于数据分析的初学者，有的时候并不需要去购买SPSS，或者苦学R语言等专业工具，Excel默认安装以后自带了数据分析和数据计算插件，只需要将插件激活，便可以进行方差分析、傅里叶分析、直方图绘制等等一系列专业的统计计算。以下是插件的激活方式：2、管理下拉框中选择Excel加载项，点击“转到”3、勾选分析工具库、规划求解加载(Solver)项即可4、在“数据”选项卡中会出现刚才加载的数据分析插件

2014-12-06 22:48:10 7279

原创内网环境中使用DVD安装文件配置本地yum源

在内网RHEL的环境中，安装Oracle的过程上经常会需要安装一些包，但无法通过yum安装时，我们一般的做法是找到rpm包下载后手动安装，但rpm包经常都有依赖关系，安装起来不是是有种要崩溃的感觉，在这里介绍一个简单实用的办法：添加本地yum源来解决，步骤如下：1.将RHEL的安装介质拷贝到服务器上任意目录2. 通过loop 方式挂载到相应目录3.编辑 yum 源配置文

2014-11-29 11:42:43 1214

原创第三方系统通过IFrame的方式访问BIEE报表

BIEE开发的报表经常会与现有系统集成，通常可以用iframe的方式嵌入到需要集成的系统，在这里有两种方式可以集成：1,通过SSO,将BI与业务集成做单点登录，可以参考类似“BI 与ＣＡＳ的文章”，这类文章很多。这种方式的安全性比较好。2,直接在集成的URL中带上NQUser、NQPassword在没有安全性要求不高的情况下是最简单经济的一种方式，需要注意的是需

2014-11-29 11:18:15 2523 1

原创 Hadoop-Nutch学习整理（持续更新）

Nutch学习整理第一部分单机尝试1、安装部署Nutch的部署和其他Hadoop生态产品的部署流程基本相似：下载软件，上传到服务器，解压文件，修改配置文件。网上有很多类似资料，不再赘述。Nutch的配置文件主要有两个：domain-urlfilter.txt 是用来配置所爬取网站的范围，域名和它的子网页的正则表达式，类似于爬取规则。一般配置为：

2014-11-25 15:39:57 803

原创 BIEE11G Rpd合并

Rpd合并如图，合并两个rpd需要用三个rpd文件来操作。一个是blank.rpd，这是一个空白rpd,在biee合并的时候作为”原始主资料档案库”；还有一个是modified.Rpd,这是需要合并的其中一个rpd,在biee合并的时候作为已修改的资料档案库;另外一个是current.rpd,这是合并的时候默认打开的rpd,在biee合并的时候就作为当前资料档案库。

2014-11-02 23:11:36 1945

原创 Biee11g导出excel文件打开时出现乱码

问题描述:在rpd中导出含有中文的CSV格式的文件后用OFFICE2007打开时出现中文乱码情况备注：导出csv文件时选择编码为UTF-8则会出现乱码选择UNICODE编码则正常显示选择ANSI编码时则导出文件不全-------只有””””符号，没有其他内容故障原因此种情况一般是导出的文件编码的问题。在简体中文环境下，EXCEL打开的CS

2014-08-11 13:37:58 1686

原创 OHS简单安装与系统配置

前言OHS完整安装过程包括安装weblogic（用于展示OHS图形配置界面）、OHS、WebCache组件，安装完成后启动weblogic能够在em管理控制台中可视化的配置和控制OHS相关参数和操作，更加便于管理。为了保障OHS服务器稳定、不受其他因素干扰，并且不需要上述weblogic图形管理界面时，可以采用本文档所介绍的简单安装模式。1、安装OHS与BIEE安装

2014-08-11 13:12:21 6132 1

原创 BIEE 连接SQLServer业务数据源(Linux环境)

biee11g默认安装了mssqlserver的数据驱动，不需要在服务器端进行重新安装，配置过程主要基于ODBC实现，本文主要介绍客户端为windows服务端为linux系统的配置过程。1、客户端在客户端首先配置odbc数据源，可以直接在运行中输入odbcad32，打开配置界面--系统DNS---添加选择SQLserver的相关驱动，一般选择wire protocol型

2014-07-17 13:33:35 1960

原创 BIEE11g BI_server Jvm参数调整

1、找到user_projects\domains\bifoundation_domain\bin目录2、复制startWeblogic.sh为新的文件startAdminWeblogic.sh，复制setDomainEnv.sh到setAdminDomainEnv.sh,复制setOBIDomainEnv.sh到setAdminOBIDomain.sh3、修改startA

2014-07-11 12:51:54 2053

原创 BIEE在creating domain步骤停止的解决办法

1、错误现象：biee11g creating domain csf entries will not be parsed since the adminserver is unreachablenote manager properties2、Oracle官方也有相关的内容，主要针对windows2003和windows2008服务器，解决方案是先单独装weblogic再

2014-07-06 22:29:18 1605

原创 BIEE11G系统数据源账号过期问题（默认安装步骤）

BIEE默认完成安装后处于安全的考虑会对BI系统账户设定180天的有效期设置，如下图所示：当账户超过时间后会自动口令失效，而造成BI系统启动失败，无法正常访问等相关问题，到时候重新设置密码（有可能忘了当初安装时的密码）还需要修改weblogic的jdbc连接信息、需要修改相应配置文件、重启等，比较复杂，因此建议安装BIEE完成后，顺便做以下操作，取消口令期限限制：1、用sy

2014-06-15 16:22:49 1499

原创 Biee 外部用户表

Biee11g外部表用户一．外部表用户登录外部表结构:导入外部表到RPD中(可以不用把外部表导入到RPD中，但是必须存在外部表对应的连接池信息，保证RPD可以连接到外部表)● Manage à Variables,单击Session目录下的Initialization Blocks，在右侧空白区域单击右键，选择New Initialization Blocks，输入名

2014-04-22 13:15:46 2454

原创 Biee仪表盘中提示空值如何去掉

Biee仪表盘空值遇到一个仪表盘提示空值问题，版本：11.1.1.6.0问题描述：仪表盘提示字段在数据库底层数据无空值在创建仪表盘提示的时候，直接拖出一个字段’区县’，点击下拉框，发现出现空值~~解决方法1. 编辑仪表盘提示设置选项列表值为特定列值这种方法只适合字段拥有少量列值而且不会变动的情况下2 编辑仪表盘提示设置选项列表值为SQL结果并写SQL语句

2014-04-22 13:07:56 1900

原创 Biee 逻辑维层次维父子维

BIEE 11G 层次维和父子维一．层次维钻取：要实现钻取功能，需要在逻辑层建立维度。建立维度的字段需要在同一个逻辑表中出现，并且有一定的层级关系另外，钻取也只能是下钻，不支持上卷，而只能使用“返回”按钮测试数据：事实表：aam_yey_xsrs 维表：dmn_xzqh_test导入元数据到RPD物理层并关联然后将两张表拖入到逻辑层：右击维表

2014-04-22 13:03:20 4891

原创 Biee 迁移和刷新GUIDs

http://note.youdao.com/share/?id=983f4d92d363f5895c0a962f7642c451&type=note

2014-04-22 12:45:30 3100 1

原创 BIEE 变量总结

Biee 11g 变量总结一、在oracle bi管理工具中--------资料档案库变量和会话变量Administrator tool -Manage-Variable 下图~ 这里是模型RPD定义变量的地方，也就是所定义的变量名都是保存在RPD模型中，Variable 所定义的变量类型分为两大类，一种是Repository(库变量)，另外一种是Session(会话变量)。

2014-04-22 12:41:31 1962

原创 BIEE 11g回写功能

表结构，原数据库数据如下：注意：1.启用回写的权限需要开放给用户，在管理权限里面进行设置2.需要回写的字段需要在RPD的逻辑层中勾选 “可写” 属性3.在RPD的展示层中需要给予用户此字段的读/写权限4. 若BIEE的用户是外部化到数据表中的，那么在security里面需要针对组做权限修改，在查询限制里面针对执行直接数据库请求进行修改，修改为允许1）需要回写的字段需要在

2014-03-20 15:09:44 2129

原创 Biee 11g权限详解

Biee 11g权限详解前言：BIEE 11g的权限较之前10g版本有了较大的变化，最明显的地方就是构架上的变化，其与 Oracle Fusion Middleware Security 紧密的集成在了一起。在开始之前先让我们来了解一些基本概念：１、认证(Authentication)：所谓认证，就是校验用户名和密码是否正确，正确就通过认证，反之则不通过２、授权(A

2014-03-20 14:37:52 4491

原创 ODI中新增插件(Open Tools)介绍

1、添加ODI驱动在ODI11G中需要将数据jdbc驱动拷贝到以下两个位置：$HOME（一般在windows的系统文件夹，如：C:\Users\Administrator\AppData\Roaming\odi\oracledi\）/.odi/oracledi/userlib-----用于statio的数据集成；ODI_HOME/oracledi/agent/drivers/----用

2014-03-05 23:16:26 2199

原创 OSB/SOA Suite中WebLogic Domain的配置

在命令行窗口中找到osb安装路径，并执行config.cmd我的路径为：E:\Oracle\Middleware\Oracle_OSB1\common\bin 弹出如下的配置向导窗口：点击“下一步”在此我们选择： Oracle SOA suite for developers Oracle Ente

2014-02-25 14:39:17 1893

原创 JDeveloper 11g与SOA extension的安装

Oracle JDeveloper 是一个免费的集成开发环境 (IDE)，可简化基于 Java 的 SOA 和 Java EE 应用程序开发。JDeveloper 为 Oracle 融合中间件和融合管理软件提供全程端到端的开发，支持整个开发生命周期。本文主要介绍JDveloper11g 的安装以及开发SOA必要的插件的安装，由于安装比较简单，所以以截图的方式来展示整个安装过程，截图如下

2014-02-25 14:25:45 2664

原创 SoapUI简单使用

创建项目选择菜单：File->New SOAP Project 这里输入project name:testInitial WSDL：http://www.webxml.com.cn/WebServices/WeatherWebService.asmx?wsdl这是个天气预报的webservice 接口点击“OK"即出现如下画面

2014-02-20 11:08:16 5654

原创 Oracle SOA Suite的安装

解压SOA Suite 到指定目录，本文为：F:\ofm_soa_generic_11.1.1.7.0_disk1_1of2到Disk1目录，执行setup -jreLoc JDK的路径，安装比较简单，将安装截图附上：SOA suite可以选择应用服务器Weblog

2014-02-18 14:38:21 1403

原创 OSB的安装

解压osb到指定目录，本文为：F:\ofm_osb_generic_11.1.1.7.0_disk1_1of1到Disk1目录，执行setup -jreLoc JDK的路径，安装比较简单，将安装截图附上：出现欢迎界面，直接“下一步"这里可选择"定制"是为了将示例一并安装

2014-02-18 14:31:50 2573

原创 Oracle WebLogic Server 11gR1 (10.3.6) + Coherence + OEPE 的安装

执行：oepe-wls-indigo-installer-11.1.1.8.0.201110211138-10.3.6-win32.exe安装比较简单，典型的windows安装，一路"下一步"，即可。安装截图如下：点击“

2014-02-18 11:49:47 4439

原创通过RCU建立OSB和SOA Suite的database schemas

要使用Oracle Service Bus 和SOA Suite我们必须创建必要的schemas，本文简单介绍通过RCU工具创建的过程。RCU通过解压即可使用，本解压目录为：E:\rcuHome启动：执行E:\rcuHome\BIN\rcu.bat出现如下画面：点击“下一步” 点击“下一步”

2014-02-18 11:40:17 1578

原创 OSB/SOA Suite安装

本文主要介绍OSB/SOA Suite的安装，版本的选择以windows x64的版本进行安装，在这里，我们主要介绍以下内容：安装之前的先决条件Oracle的安装通过RCU建立OSB和SOA Suite的database schemasOracle WebLogic Server 11gR1 (10.3.6) + Coherence + OEPE 的安装Oracle Se

2014-02-18 11:30:11 1854

转载数据仓库的大数据集成

集成策略数据集成是指将来源于不同系统的数据组合在一起，供业务用户研究不同的行业行为及客户行为的数据处理方式。在数据集成应用早期，数据仅限于交易系统及其应用。业务决策的制定以决策平台为指导，而有限的数据集提供了创建决策平台的基础。数据容量与数据类型在过去三十年里大幅增长，数据仓库技术从无到有，基础架构和技术的发展满足了分析和数据存储需求。这一切彻底改变了数据集成的前景。传统数据集

2014-02-15 12:29:06 2142 3

原创 endeca studio安装部署指南

在weblogic10.3.6版本中扩展域：目前，安装过程中选择创建管理服务器，其他均为默认，这里设置的端口号为8101、2、关键步骤：A.创建域操作完成以后，需要设置域目录下的setDomain.cmd，在文件中增加如下内容：set JAVA_OPTIONS=-DUseSunHttpHandler=true -Djavax.xml.transform.TransformerFac

2014-02-11 14:23:50 1686

转载商务智能发展趋势观察

2014年，我们会听到关于可视化数据、云计算和移动应用的更高呼声，人们对这些技术的热情会超过2013年。而大数据领域，还将获得持续关注，但用户考虑更多的是切合业务需求的落地方法。简言之，云计算和移动技术将引起2014年的BI二次革命。可视化数据和自助式BI2013年，可视化数据已进入了探索征程，专业供应商在画面场景、QlikView、TIBCO Spotfire平台分析等方面的应用

2014-02-05 22:36:19 1139

原创 Endeca integratorETL安装部署

Endeca是Oracle最新收购的大数据及企业级检索解决方案产品，主要弥补之前Oracle产品体系在数据挖掘和数据分析方面的不足，以及提供实际的大数据解决方案产品。Endeca目前在公安、法院、政府的数据分析领域已经有了不错的尝试，本文主要介绍Endeca integratorETL的安装部署过程，以及安装过程中常见问题的解决方法。

2014-01-24 22:52:08 2119

原创 BIEE EM 报错 ADF_FACES-60097 的解决方法

BIEE版本:11.1.1.6.0症状描述进入weblogic 的em控制台后，点击coreapplication是，页面会弹出一个报错窗口：ADF_FACES-60097 : For more information, please see the server's error log for an entry beginning with: ADF_FACES-60096: S

2014-01-23 15:10:14 5120 1

原创 Endeca IAS安装部署

windows下安装步骤：1、安装weblogic10.3.6和JDK1.6参考安装文档；2、解压缩压缩包3、进入命令行模式4、运行ias-setup.bat选择1，weblogic输入weblogic的路径指定IAS的域名（例ias）、用户名（例weblogic）、密码、端口号（8401）和主机名

2014-01-23 11:59:13 1450

原创 BIEE11.1.1.7 BUG汇总

目前已知的BIEE11.1.1.7BUG如下：1、外部用户认证失效，在.7和.7.1上都没有测试通过；2、浏览器兼容性又回到了.5的牌型，很多浏览器不支持；时间有限，很多bug还在整理，后续公司会持续更新

2014-01-23 11:35:24 1196

Endeca介绍资料（比较全面的一份）

空空如也