- 博客(205)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Information Dashboard Design读书笔记
第一章:Everybody wants a dashboard.dashboards are sexy.好的仪表盘设计能够speak clearly and immediately.An effective dashboard is the product not of cute gauges, meters, and traffic lights, but rather of ...
2013-06-20 18:34:51
591
原创 使用amazon的S3服务
需求背景: 今天帮同学解决一个问题,对方给了一个英文文档,intel那边只给了一些文章id(文章ID是放在很多个文件的json数组里的.),要把文章内容拿到在平板上进行展示. 我看了下文档上提供了两种方案,第一种是通过AWS的方式.第二种直接通过URL把文章内容呈现出来.比较而言,第二种通过http请求,只需要生成token信息,在带上文章ID,发出一个请求后,...
2013-06-15 23:20:26
280
原创 python相关知识点
关于编码:http://blog.pzxbc.com/python-character-encode-astrawind.html在安装模块时,会遇到无法编译的问题,解决方案为下载xcode或者直接安装gcc.地址如下:https://github.com/kennethreitz/osx-gcc-installer 看到别人代码里用到pynotify,于是上网搜到了一些示例...
2013-02-06 12:02:14
173
原创 Requests库学习
Requests的介绍:最近在找代码看,在github上找到一个http的库,阅读了一部分api和源代码,此文记录下. 在python下,自带了urlib2的类似的库,但是作者觉得写的不好用,不够优雅,于是自己搞了个Requests出来.号称"HTTP FOR HUMAN",哈哈.看基本的代码,的确要简洁很多.关于对比,在github上有一段有趣的讨论,可以看看.https...
2012-12-29 22:39:30
114
原创 BIEE之timestamp问题
最近在做一个需求，数据量比较大，遂自己根据查询语句建了几个索引，但是依然发现效果不明显。让DBA帮忙优化后，指出在查询语句中，关于日期的过滤写法有问题： T46460.gmv_date = TIMESTAMP '2012-11-01 00:00:00' 应该改成to_date的方式，这样执行起来要快不少。首先去查了下为什么这种写法就会很慢，我在answer中...
2012-12-12 21:13:49
281
原创 timeTunnel的学习
采集数据(通过TT的client API)：APP直接写tailfiledbsyncdfswriter向HDFS写数据--向云梯写数据格式固定，sequence file，基于key-valuestorm从TT读数据，进行实时计算。TT可以认为是“持久化的队列”，持续的流处理。TT与datax的比较：如果把datax做持续的导数据，效果可以与TT等同...
2012-09-25 19:26:55
215
原创 数据挖掘之归一化
在阅读数据模型的文章中，经常看到针对特征维度进行归一化处理。归一化的定义：一种简化计算的方式，将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量，避免具有不同物理意义和量纲的输入变量不能平等使用。在统计学中，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一化处理后，神经网络算法可以较好的收敛。...
2012-09-24 21:10:32
187
原创 BIEE 界面DIY
改图片和css不需要重启服务，但要注意清除IE缓存。l在C:\OracleBI\oc4j_bi\j2ee\home\applications\analytics\analytics\res\sk_oracle10\b_mozilla_4下，可通过不同的层级样式表来更改页面元素。Bglogon.jpg改更登录背景图片Logon.css改更登录页面样...
2012-09-06 21:49:50
208
原创 轻松玩mac
周末在家看了esaytimetv.com的《轻松玩mac》的几个视频： option+cmd+esc可以强制结束进程。keynote的几个技巧：希望演示的时候，黑屏或者白屏，分别按b或者w键即可，按任意键即可回来。如果在某些情况下，自己要到电脑你找些文档或者打开网页，却希望不影响keynote的内容在大屏幕上的展示，可以按h键。这样在自己的本机上keynote已经最小化了...
2012-08-06 09:30:27
136
原创 BIEE登录问题排查及集群搭建
背景：BIEE服务器虽然搞了两台，但是只是作为冷备。大部分情况下，如果白天需要发布rpd，我可以切换机器提供服务进行发布。 问题来了：单机经常挂的情况(现象是：用户无法登陆，提示“正在登录，请稍候...”)。一般重启下BIEE的几个server进程，可以恢复。但是过不了一会，又会出现这种情况。中间有一个插曲就是我把机器重启过，导致哈勃的监控客户端程序没有起来，导致对B...
2012-07-01 21:08:57
472
原创 MINA网络通信框架
基本介绍：Apache MINA 2 是一个开发高性能和高可伸缩性网络应用程序的网络应用框架。它提供了一个抽象的事件驱动的异步 API，可以使用 TCP/IP、UDP/IP、串口和虚拟机内部的管道等传输方式。Apache MINA 2 可以作为开发网络应用程序的一个良好基础。Mina 的API 将真正的网络通信与我们的应用程序隔离开来，你只需要关心你要发送、接收的数据以及你的业务逻...
2012-04-08 17:23:27
136
原创 mac开发以及工作环境搭建
买回来mac book pro，至于为什么买mac也是受了一些鼓动吧，一方面是自己之前装ubuntu用了段时间，还是觉得系统的稳定性不给力，虽然已经做的蛮不错了，但是用了一会会假死，然后装在我的dell机器上，分了30g空间给ubuntu，导致windows的空间严重告急了，本来想买个移动硬盘缓解下，看看价格还是没下手。不过真心是想在类linux环境下工作，开发。 后来某天突然去关注了...
2012-04-05 22:43:50
146
原创 OBIEE的ibot配置
http://prolynxuk.com/blog/?p=288 http://oracle.ittoolbox.com/groups/technical-functional/oracle-bi-l/obiee-sa-system-subject-area-4397493 http://gerardnico.com/wiki/dat/obiee/sasystem 采用sa...
2012-02-14 15:30:47
169
原创 聚集导航的设计和实现之读书笔记
关于聚集导航的技术，最近读了一本很不错了书籍《Mastering Data Warehouse Aggregates: Solutions for Star Schema Performance》，其中的很多理念之前已经熟悉，不过人家写了一本书讲的还是蛮细致系统的。1,数据仓库系统与数据库系统的对比，这个已经看了很多，就不列举了。2，避免雪花模型设计，除非架构需要。...
2012-01-31 15:47:23
250
原创 关注的站点
以后要关注下学术类的文章：http://www.blogbus.com/ 博客大巴 http://bbs.sciencenet.cn 科学博客，其中唐常杰的博客很不错。 http://emuch.net/bbs/ 小木虫论坛 http://www.open-open.com/ 开源技术文档 http://scholar.google.com/ google...
2012-01-29 18:54:53
95
原创 调用BIEE提供的web service
门户项目中准备用web service获取现有的制作好的报表进行展示。遂去研究了下，研究的过程也是满纠结的，总算根据多方资料，将demo跑通了。 本文参考了网上的一些资料，做一下总结而已。讲解下如何配置，成功的获取到相关报表。 biee的web service的介绍我就不说了了，官方文档如下：http://download.oracle.com/docs/cd/E21764_01/bi....
2011-11-17 15:33:10
173
原创 biee清除缓存脚本
前面文章http://jianchen.iteye.com/blog/1108446讲到如何清除biee的缓存 写道在linux下了，没有界面的话，就只能用命令的方式了：nqcmd -d tsa -u jianchen -pjianchen -s testCleanCache.sqltestCleanCache.sql该文件的内容如下： call S...
2011-10-10 22:55:23
286
原创 apache的httpd.conf配置
MaxRequestsPerChild将MaxRequestsPerChild 0改成MaxRequestsPerChild 50即可。通常在“Windows任务管理器－进程”中可以看到两个apache.exe进程，一个是父进程、一个是子进程，父进程接到访问请求后，将请求交由子进程处理。MaxRequestsPerChild这个指令设定一个独立的子进程将能处理的请求数量。在处理“M...
2011-09-29 23:12:41
96
原创 python访问mysql数据库
[size=large]开始python的学习！啦啦啦。python的几个内建函数:apply(),filter(),map(),reduce()使用python 访问 mysql数据库。1,需要安装mysql，之所以需要安装mysql，是因为mysql-python包的编译安装需要读取配置文件。没有安装的话，会报如下错误：EnvironmentError: mysql_con...
2011-09-29 21:49:23
100
原创 OBIEE 变量
biee的变量分类以及在各个组件的引用方法： 这个图上的里面应该用中括号。例如：@{biServer.variables['lastWeek']}
2011-08-29 21:34:14
124
原创 OBIEE Data model Best Pratices
Data Model Best Practices1，交叉的业务统一于事实表，度量和维度2，文档化，产出概念，逻辑模型，物理数据模型图，识别主键和外键3，命名规范-使用恰当的前缀与后缀(_MAP,_DIM;_FCT)4,设计一致的维度和缓慢变化维5，在组织内确保相同的定义和使用维度的最好方式是一致化。一致的维度确保了相同的维度表作用于多个事实表。6，使用位图索引7，...
2011-08-28 22:31:04
66
原创 性能测试 and BIEE(二)
测量以及监控(measingand monitoring)在很多环节会产生日志信息，对日志进行分析可以有效的得到关注的数据。 1， web层日志a) web server，比如apache日志，是用户请求进来的第一道关卡日志b) ...
2011-08-28 20:29:12
129
原创 性能测试 and BIEE(一)
目标：1. 性能测试的方法2. BIEE的部分技术点3. 从错误中学习 什么是性能测试？1， 响应时间a) 报表b) ETL批处理...
2011-08-28 20:19:25
208
原创 open flash chart
无意中看到business preview这个应用的图标是用open flash chart做的，遂上网了解了下该开源图表工具。平时自己想搞个快速的数据报表出来还是蛮方便的。 http://teethgrinder.co.uk/open-flash-chart-2/ open flash chart现在是2的大版本号，之前1的版本的数据文件格式不太通用，2的版本之后支持json的数...
2011-08-18 20:27:37
71
原创 部署普及型BI关键成功因素
部署普及型BIwhat is it?传统的BI系统更多的是给后台分析人员使用。普及型的BI是向所有用户(包括前台员工,供应商,客户和业务合作伙伴)提供集成的适时DW信息的能力。它为企业提供了必须的可视性，洞察力和事实，以随时在所有流程中作出更明智的决策。举个简单的例子，对于前台的工作者(比如客服)，也可以提供策略支持，从每个小点提升决策的正确性以及效率，进而影响整个公司业务。又比如：传统BI用户(...
2011-08-15 16:24:19
87
原创 BIEE缓存设置
1，BI server cacheOracleBI\server\Config\NQSConfig.INI 配置文件，设置cache = yes；表示开启server的缓存。如果需要对表做缓存，需要保证在rpd文件中的，物理层的相关表的cacheable属性设置OK。 BI server的缓存，是以文件的形式体现的。查看文件，均是以TBL为后缀名。OracleBI\server\C...
2011-08-14 18:22:21
176
原创 shell学习笔记
1,I/O重定向> 输出到文件，如果不存在该文件会新建。如果存在，则覆盖内容。>> 输出到文件，添加到文件的结尾。不会导致已存在文件内容被覆盖。< 输入重定向，来源于文件sort 命令sort source_file sorted_file 等同于如下写法：sort>sorted_file<source_file该命令的效果是，将source_file的内...
2011-08-13 22:46:40
77
原创 【转】据仓库设计的三级数据模型
所谓数据模型，就是对现实世界进行抽象的工具，抽象的程度不同，也就形成了不同抽象级别层次上的数据模型。数据仓库的数据模型与操作型数据库的三级数据模型又有一定的区别，主要表现在： (1) 数据仓库的数据模型中不包含纯操作型的数据。 (2) 数据仓库的数据模型扩充了码结构，增加了时间属性作为码的一部分。 (3) 数据仓库的数据模型中增加了一些导出数据。 ...
2011-08-13 17:33:53
1837
原创 RAID10,RAID01以及RAID5
最近听DBA的分享，了解到RAID10与RAID01的比较，在此记录下备忘。 和RAID 0不同，在RAID 1中容错是主要关注点。RAID 1 的基本形式是把两个物理硬盘组合在一起，通过镜像在这两个物理硬盘上的数据形成一个虚拟磁盘。如果服务器把一个数据块写往虚拟磁盘，RAID控制器就把这个数据块同时写到两个物理硬盘上 ，其复制也被称作镜像。采用RAID 1的磁盘阵列通常保持两个复制...
2011-08-10 13:07:26
162
原创 待定待定
MYSQL 新版出现 Client does not support authentication protocol requested by server; consider upgrading MySQL client解决办法(1) MYSQL 帮助：A.2.3 Client does not support authentication protocol MySQL 4.1 an...
2011-08-05 12:40:52
112
原创 基于HTTP长连接的“服务器推”技术
参考文章：http://www.ibm.com/developerworks/cn/web/wa-lo-comet/服务器推送技术的基础思想是将浏览器主动查询信息改为服务器主动发送信息。服务器发送一批数据，浏览器显示这些数据，同时保证与服务器的连接。当服务器需要再次发送一批数据时，浏览器显示数据并保持连接。以后，服务器仍然可以发送批量数据，浏览器继续显示数据，依...
2011-08-02 22:08:01
150
原创 聚集导航出错
今天遇到一件很奇怪的事情:同样的报表，在访问时，数据差异很大。唯一做的变更是，之前底层走的是tsa_fact_punish_rstb表。现在走的是tsa_fact_punish_rdys表。希望利用biee模型成的聚集导航，当查询特定的维度时，走相应的聚合表。 一开始怀疑，是tsa_fact_punish_rdys表的计算有问题，但是实际上该表是利用kettle进行简单的聚合得...
2011-07-25 19:35:35
132
原创 kettle的源代码svn地址
网上一开始搜索到的地址 svn://source.pentaho.org/svnkettleroot/Kettle/trunk 下载速度比较慢。这里的源码是3.X版本的。 另一个源码下载地址为：http://svn.javaforge.com/svn/Kettle/trunk", the username is "anon...
2011-07-06 15:51:38
250
原创 下半年阅读书籍列表
记一下下半年看的书籍：1，黑客与画家 (已购&已阅)2，学习下python (看了点简单的语法)3，maven实战（已购&已阅）4，卑鄙的圣人-曹操（已购&已阅）5，精通web Analytics 2.0(已阅)6，谁说菜鸟不懂数据分析(已购&已阅)7，时寒冰说，经济大棋局，我们该怎么办(已购&已阅)8，shell tuto...
2011-07-03 22:42:30
100
原创 csrf以及xss网络安全技术
最近听了一节关于安全技术的分享，了解了诸如fuzz技术，缓存区溢出攻击，以及一些安全测试的工具。之前有了解过，CSRF以及XSS，不过时间一长就忘记了。所以在博客中记录下。摘自于网络，原文链接：http://articles.e-works.net.cn/Security/Article72486.htm 1、引言 跨站点请求伪造(Cross—Site Re...
2011-07-03 21:57:06
134
原创 秒杀相关知识以及技术
电子商务的主交易流程：1，查询商品 2，创建订单 3，扣减库存 4，更新订单 5，付款 6，卖家发货秒杀业务的几个特性：1，低廉价格 2，大幅推广 3，瞬时售空1，秒杀一般是定时上架该功能实现方式很多。不过目前比较好的方式是：提前设定好商品的上架时间，用户可以在前台看到该商品，但是无法点击“立即购买”的按钮。但是需要考虑的是，有人可以绕过前端...
2011-07-03 10:35:06
100
原创 linux命令记录
查看特定端口的连接数：服务器上的一些统计数据： 1)统计80端口连接数netstat -nat|grep -i "80"|wc -l 2）统计httpd协议连接数ps -ef|grep httpd|wc -l 3）、统计已连接上的，状态为“established'netstat -na|grep ESTABLISHED|wc -l wc -c fi...
2011-07-02 23:32:37
82
原创 kettle之牛刀小试
需求描述： 客户端有一个程序定时(15分钟间隔)的采集外网数据，不过需要将该数据保存到线上数据库的表中。但是由于客户端程序在本地，无法直接访问线上数据库。需要解决将该数据，写入到线上数据库的问题。 csv的格式如下： 1 1 1h 2 2 2h ....底下省略 表的结构跟csv的字段一样的。 id hour_id hour...
2011-06-30 20:05:48
597
原创 OBIEE经验记录以及解决问题的方案
mark 定时刷新仪表盘页面：在页面上，增加一段文本，需要勾选html属性。<META HTTP-EQUIV = "REFRESH" CONTENT = "1"><META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE" > 以上手段，无需确认，但是不足时，无法把提示器的值带进去重新执行查询。效果是每次都是
2011-06-28 20:24:13
177
原创 OBIEE清除缓存
问题：由于底层事实表的基础上又增加了聚合表，聚合表是利用kettle去定时聚合的。不过很有可能聚合表还没将数据聚合OK时(因为聚合的时间可能比较长)，用户已经进行了查询，导致了缓存，以后即使聚合完成了，在不清除缓存的情况，依然查不到最新的数据。 方案一：在用户反馈查询不到最新数据时，手动的利用admin Tool中的cache管理工具，进行清除缓存。 评估：1，用户反馈才知...
2011-06-28 19:16:15
224
空空如也
JavaEye最近经常打不开或很慢，是我网络有问题，还是JavaEye在做修改？
2009-04-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人