2015年06月_textboy

原创风险量化模型

搜集了一下，发现国内的风险量化模型按热闹程度排表如下：1、VaR, FICO, KMV2、CreditMetrics、敏感性分析、误差反向传播（Error Back Propagation, BP）算法3、回归模型：多元线性判定 Z-Score模型、多元逻辑 Logit模型、多元概率比回归 Probit、增量算法4、Cox比例风险模型注：象AHP这类虽然用到数学矩阵

2015-06-29 22:52:38 13098

原创新工作第一天初始安排

新工作第一天，和老总谈了，大体工作优先级安排如下：1、数据建模描述：建立大一统的数据仓库，消灭数据孤岛，能做到业务支撑。预估用到技术：数据字典、数据结构、Dimensional modeling、Axure、ERStudio(or PowerDesigner)2、入口统计描述：通过用户登录获取到的数据，分析出用什么浏览器、入口是手机网页、App、微信还是PC网页

2015-06-29 18:00:18 681

原创 Novel 网络小说点评

写在前面，这是个人观点，正所谓“众口难调”，大家不必较真。由于河蟹，诸如“金鳞”“风月”“兽血”等同样出名的书就不再收录了。全文总体没有败笔情节继爽又有心得得着的才封为超五颗星，低于五星不给星而仅留书评。有些也很出名的网文可能不合本人，不能耐着心看下去，所以也就没收进来。龙蛇演义（梦入神机著）类型：都市，武功国术武学小说的极致！注意，写的是国术武学，与传统的降龙十八

2015-06-28 21:43:03 1754

原创 ER/Studio知识汇总

一、关系网上找了一下，大部分说得不太清楚，我在这里举上个例子。注意，这里的关系是逻辑上的，并非表结构也要如此。 1. 标识关系identifying relationship 意思：子实体的主键包含父实体的外键（可能成为复合主键compound keys）The primary key attributes of the parentbecome primary key

2015-06-27 16:25:43 1311

原创 Dimensional Modeling

一、General1. ConceptDM / Dimensional Modeling / 维度模型The process and outcome of designing logical database schemas created to support OLAP and data warehousing solutions.Dime

2015-06-26 17:26:31 1258

原创 A new starting ...

Today is the end of my intple, next Mon. (2015.6.29), a new starting is coming ~~

2015-06-26 16:11:48 462

原创 Data Sets 数据源

Data Sets 数据源：可用于数据分析、数据挖掘、统计、数据仓库测试等。年化CPIhttp://data.worldbank.org/indicator/FP.CPI.TOTL.ZG年化GDPhttp://data.worldbank.org/indicator/NY.GDP.MKTP.CD金融http://lisp.vse.cz/pkdd99/Challe

2015-06-25 16:37:00 820

原创数据建模

一、数据仓库建模架构1、业务/领域/主题层（domain / conceptual），业务分解、领域抽象2、逻辑层（logical / object），实体化、对象化3、物理层（physical），数据库化二、各层展开1、业务/领域/主题层1.1 建模方法实体建模（实体、事件和说明），IBM - BDWM（Banking data warehouse model）

2015-06-24 18:14:46 1266

原创 IT方向数据分析技术一览

数据分析技术一览（按重要度排行）：方向技术例子Analytical tools (数据挖掘)SAS，Clementine，SPSS Modeler，R，Mahout，Matlab，机器学习模型算法决策树、聚类、逻辑回归，序列标注,关联分析、SVM，贝叶斯Big Data

2015-06-19 08:09:34 884

转载 Spring 的事务管理（编程式和声明式）

From 《全面分析 Spring 的编程式事务管理及声明式事务管理》http://www.ibm.com/developerworks/cn/education/opensource/os-cn-spring-trans/Spring 事务属性分析事务管理对于企业应用而言至关重要。它保证了用户的每一次操作都是可靠的，即便出现了异常的访问情况，也不至于破坏后

2015-06-18 16:53:52 675

原创 Logstash 正则匹配修改流程

这里使用假设路径，如与你的路径不一致，则稍作更改即可。一、修改正则匹配流程1)cd /home/logtools/logstash-1.4.2/mypatternsvi pattern_platform_xxx(Sometimes may also need to update /home/logtools/logstash-1.4.2/logagent-apa

2015-06-18 11:07:10 2047

原创递归例子（Javascript）

目标：读取一个层次架构构树。主程序：var treeSource=data.treeNode;var treeNode = new Array();if(treeSource){ // 递归获取子node treeNode.push({name:treeSource.name, value:treeSource.value, children:$biosMain.getTr

2015-06-18 09:49:47 701

原创递归例子（Java）

目标：把一个关系型数据库中关系的并列型列表转换成为一个层级架构树。DB:parent node------ -------soft_1 staff_B soft_1 staff_C dev soft_1dev soft_2dev staff_A gm_A dev gm_A hr gm_A market hr staff_E soft_2

2015-06-18 09:41:15 598

转载 Hadoop安装配置（棒极了，每一小步都写得非常清楚）

From http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html1、集群部署介绍 1.1 Hadoop简介　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和

2015-06-16 17:14:39 3006 1

原创 ssh无密码验证登录配置浓缩版

server A1）ssh-keygen -t rsa -P ''2）cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys （chmod 600 ~/.ssh/authorized_keys）3）（vi /etc/ssh/sshd_config，service sshd restart）（开启三行配置：RSAAuthentication ye

2015-06-15 18:52:48 463

转载 Machine Learning Basis

（部分内容参考自其它 blog，见下面引用）1. 训练数据、验证数据、测试数据训练数据（Training Data）：用于模型构建，由已知推测未来验证数据（Validation Data）：可选，用于辅助模型构建，可以重复使用。测试数据（Test Data）：用于检测模型构建，此数据只在模型检验时使用，用于评估模型的准确率。绝对不允许用于模型构建过程，否则会导致过渡拟合。2

2015-06-14 17:55:30 610

原创 Statistics Basis

1.Conditional Probabilities(the probability of A given B, '' means AND, '|' means given)2.Bayes' Theorem（贝叶斯）e.g.Selects one of the volunteers at random toask if she enjoyed play

2015-06-14 17:28:24 574

原创 orgChart生成组织结构图应用

1）动态生成HTML作为数据sourcevar preTitle = ""; var content = "Band"; // header $.each(titleNameList, function(i, item){ if (preTitle != item.title) { if (preTitle != "") { conten

2015-06-12 19:11:20 7794 1

原创 CSS选择器笔记

CSS 选择器分组,CSS 属性选择器[]CSS 后代选择器（后代包括子、孙、曾孙...）空格，e.g. h1 em (This is a important heading)CSS 子元素选择器（只是子）>, e.g. h1 > strong (This is very very important.)[attribute~=v

2015-06-10 18:21:21 558

原创动态网页爬取例子（WebCollector+selenium+phantomjs）

目标：动态网页爬取说明：这里的动态网页指几种可能：1）需要用户交互，如常见的登录操作；2）网页通过JS / AJAX动态生成，如一个html里有，通过JS生成aaa。这里用了WebCollector 2进行爬虫，这东东也方便，不过要支持动态关键还是要靠另外一个API -- selenium 2（集成htmlunit 和 phantomjs）.1）需要登录后的爬取，如新浪微博

2015-06-10 18:14:00 7696 5

原创 BAT时代

见证BAT时代：Baidu google （google被墙）Ali taobao ebay （真正市场性取胜）Tencent QQ MSN/skype（真正市场性取胜）Tencent 微信 WhatsApp（WhatsApp国内无推广）Sina 微博 twitter（twitter过不了国内监管）(国内无正式对手) facebook

2015-06-09 16:30:46 714 2

原创 Java 爬虫工具/开源API对比

注：基于网上收集到的信息，未经代码试验过。名称分类优点缺点Git 评价Apache Nutch搜索引擎分布式（依赖hadoop），为搜索引擎设计重量级，用于精抽取会低效，Nutch插件调试困难老大级Spiderman爬虫微内核+插件式架构，重配置（无需写代码），多线程用户太少star 525 | for

2015-06-09 15:03:36 3731

原创文字匹配解析例子（读取Json 格式配置文件）

目标：做一个文字匹配解析例子（这里这个例子是通过职位 title 得到真正级别 band，从而获取上下级关系）。功能：1）Json 格式配置文件读取；2）通过配置文件灵活控制解析功能，如：filter 匹配，bypass 不匹配，filter_reg 正则匹配，bypass_reg 正则不匹配。e.g. LangRecogUtilspublic class LangRecogU

2015-06-08 18:44:33 1118

原创用户画像的一些相关信息链接

用户画像 / 人物画像（Word Cloud）A book: http://static.mrfeinberg.com/bv_ch03.pdfA general description on algorithm: http://stackoverflow.com/questions/342687/algorithm-to-implement-a-word-cloud-like

2015-06-04 16:34:16 1059

原创 echarts 应用数个例子

应用一：环形图和饼图嵌套先说明一下内部文件分布：注意输入数组的格式（不是一般Javascript 的数组格式，而是有点像json 的样子），代码如下： profiles_pie_weibo:function(event_id){ heats=[{name:'直达', value:335},{name:'营销广告', value:679},{name:'搜索引擎'

2015-06-04 14:42:07 8998 2

原创生活金句

爱情，只有在懂的年龄遇到了，才不再只顾着自己的感受。真正的爱情，只会让人长大，让人更珍惜自己的至亲至爱。爱自己不可怕，可怕的是，不愿为了他人去做更好的自己。。。。待续

2015-06-03 09:25:12 685

转载只顾自己说，不顾他人感受

案例情景教育策略独生子女为我独尊，孩子们看不到别人的优点，找不到自己的缺点，周末小结谈话活动，从不说他人的优点，专挑别人的毛病，虽然它可能只是表达他的看法或感受，却一点也不顾忌別人的感受，被批评的孩子有的默默不语；有的瞪眼以对；有的则以牙还牙；还有的因此而不愿上保育院，理由是同学骂了他，造成同伴关系不和谐。提要求、做示范

2015-06-03 09:15:28 2031

转载《我选我自己》

动物王国每隔四年会选举一次国王。狮子最喜欢选举了，因为大家总是把票投给他。当他站在小山上问：“你们谁选我啊？”所有的动物都会大声叫道：“我们都选你！”然后，大家便举起啤酒和香肠，尽情地狂欢。不过，这次的情况却有点不同啦。“一场选举，如果不能有别的选择，那有什么意思呢？”一只小灰鼠跑过来说，“你需要一个竟争对手，要不然就没有意义了嘛！”（现实中的确存在着不同情况的竞争，更加贴切生

2015-06-03 09:10:42 679

原创大数据 Big Data & 数据挖掘 Data Mining

大数据 Big Data描述大量数据或动态大数据（某一时点大量数据）的情况下的各种应对。1）网站前端大数据输入，引出高并发、高负载、高性能的处理；2）大数据后台处理，引出分布式处理、分布式存储、云计算；3）大数据摆在面前，应该搞点数据分析，不用好像白不用，于是引出数据挖掘。当然，如果是大数据概念推手，你可以把“大量数据的情况下”改为“大数据时代下”~。与数据挖掘的关系：大数据推手认为大

2015-06-02 15:38:50 1608

转载 BI - Cube概念

cube模型例子，from http://www.zhihu.com/question/19955124基本cube模型上卷(Roll-up)、下钻(Drill-down)、切片(Slice)、切块(Dice)、旋转(Pivot)

2015-06-02 15:05:57 1635

原创 eclipse 工程手工配置

.settingsorg.eclipse.wst.common.project.facet.core.xml (等同于 Right click Project > Properties > Project Facets)org.eclipse.wst.common.componentcontext-root: e.g. (与web 登录网址一致, e.g. http://loc

2015-06-01 16:13:28 591

textboy的专栏