2014年03月_RoQuant

原创 SAS DM数据准备读书笔记1（分解字符串）

数据准备与分析的关系犹如大厨的刀工和厨艺的关系，任何一个大厨都有精湛的刀工。听说日本有个寿司店，在店里要做几十年的小工（练习刀工），才能让其动手做主菜。前三章主要介绍一些基础概念的知识，代码介绍主要从第四章开始。 4.5分解字符串代码【目的】将字符串里面的单词独立出来；【主要方法】主要使用了do while 和scan函数【代码解说】专业人员写代码会将很考虑很多

2014-03-31 23:48:51 1188

原创 SAS DM数据准备读书笔记（目录）

计划从今天开始整理SAS DM的读书笔记，计划一天2-3篇，争取3个月左右时间，在小学期前完成。今天倒腾了一段宏变量加总的代码，发现学海无涯。还是要通过整理读书笔记把数据分析处理的能力系统巩固下。学习书籍：Data Preparation for DataMining Using SAS 网络上很容易下载到电子版，发现百度网盘和新浪爱问的电子资源很丰富，基本上常用的电子教材上面都可以

2014-03-31 23:20:00 1553

原创 SAS 汇总SQL查询宏变量的值（Sum Values Stored in Macro Variables ）

【目的】要将保存在宏变量里面的SQL的不同查询结果的值，汇总到一个变量里面【程序】 *创建一个样例数据库temp;data temp; do i=1 to 10; output; end;run;%macro matrix(); proc sql ; select i into :x1 - :x10 from temp;*将i的值传递给变量x1-x10.以下的

2014-03-31 17:05:45 4145

转载神奇的Gamma函数

【原文地址】http://cos.name/2013/01/lda-math-gamma-function/#more-69151. 神奇的Gamma函数1.1 Gamma 函数诞生记学高等数学的时候，我们都学习过如下一个长相有点奇特的Gamma函数Γ(x)=∫∞0tx−1e−tdt通过分部积分的方法，可以推导出这个函数有如下的递归性质Γ(x+1)=xΓ(x)

2014-03-21 15:23:35 1586

转载统计书籍推荐之大样本理论

原文地址：http://blog.sina.com.cn/s/blog_8d0f6ec20101ckuk.html大样本理论（渐近理论）是统计中数学用得比较多的一块，大家知道但凡数学书多不大好读。很多数学家或是数学出身的人写书时追求“简洁”、“漂亮”、“一般化”，而忽视了教学的需要。普通人学习的规律是从特殊到一般，从具体到抽象，而不少数学教材则是反过来写的，上来就是定义甲乙丙、性质一二

2014-03-21 09:28:31 4654 2

转载中国早期概率论与数理统计学研究达到世界先进水平的杰出学者许宝騄(P.L.Hsu, 1910-1970)

许宝騄( P.L.Hsu, 1910-1970) 许宝騄，中国数学家。在中国开创了概率论、数理统计的教学与研究工作。在奈曼－皮尔逊理论、参数估计理论、多元分析、极限理论等方面取得卓越成就，是多元统计分析学科的开拓者之一。中国早期从事概率论与数理统计学研究并达到世界先进水平的杰出学者。 1984年，我国数学家钟开莱、郑清水、徐利治发起“许宝騄统计数学奖”，奖励35岁以下研

2014-03-20 20:01:23 7093

转载统计学“诺贝尔”奖——考普斯总统奖(COPSS Presidents' Award)

考普斯总统奖(COPSS Presidents' Award) 简介考普斯总统奖(COPSS Presidents' Award)设立于1976年，每年只颁奖发给一位40岁以下并且在统计学领域作出杰出贡献的学者。由于诺贝尔奖项中没有统计学，所以此奖在国际上被视为统计学“诺贝尔”奖，是统计学领域最具权威性的奖项。该奖项由以下五个统计学会发起并由这五个统计学会会长组成

2014-03-20 16:29:14 11402

转载数学常数e的含义(阮一峰)

1.e是一个重要的常数，但是我一直不知道，它的真正含义是什么。它不像π。大家都知道，π代表了圆的周长与直径之比3.14159，可是如果我问你，e代表了什么。你能回答吗？维基百科说："e是自然对数的底数。"但是，你去看"自然对数"，得到的解释却是："自然对数是以e为底的对数函数，e是一个无理数，约等于2.718281828。"这就构成了循环定义，完全没有说

2014-03-20 11:12:53 3106

转载概率分布函数的四种形式（R）

【转载原因】内容有助于理解R的概率分布的几种函数语法，特汇总如下：1、概率密度函数定义：对任一个随机变量X，存在一个函数f(x)，满足以上条件，那么就说，f(x)是X的概率密度函数：意义说明：描述随机变量在某一个确定取值点的可能性的函数，或者说是瞬时增幅的一个函数： 2、累积分布函数定义：对任一随机变量X，对于任意给定值a，所有小于值a出现的概率和

2014-03-19 15:25:18 9289

转载常见概率分布及在R中的应用

常见概率分布离散型1.二项分布Binomial distribution：binom二项分布指的是N重伯努利实验，记为X ~ b(n,p)，E(x)=np,Var(x)=np(1-p)pbinom(q,size,prob)， q是特定取值，比如pbinom(8,20,0.2)指第8次伯努利实验的累计概率。size指总的实验次数，prob指每次实验成功发生的概率dbinom

2014-03-18 23:48:21 2079

转载正态分布的前世今生（靳志辉)

神说，要有正态分布，就有了正态分布。神看正态分布是好的，就让随机误差就服从了正态分布。创世纪-数理统计（上）一、正态分布，熟悉的陌生人学过基础统计学的同学大都对正态分布非常熟悉。这个钟型的分布曲线不但形状优雅，其密度函数写成数学表达式1 2π − − √ σ exp(−(x−μ) 2 2σ 2 ) 也非常具有数学的美感。其标准化后的概率密度

2014-03-18 08:39:28 8842

原创统计分布学习笔记（未完）

前一篇文章列出了SAS概率统计相关的主要函数，本部分主要介绍如果通过SAS函数来学习统计分布。

2014-03-18 00:21:39 1069

转载 SAS概率相关函数（密度函数、分布函数、分位数函数、随机数函数）

SAS随机数函数分布情况参数说明RANBIN(seed,n,p) 二项分布 n：独立实验的次数，p：成功的概率RANCAU(seed) 柯西分布RANEXP(seed) 指数分布 RANGAM(seed,a) 伽玛分布

2014-03-17 23:52:02 19263

转载如何学习数据科学（@xccds）

如何学习数据科学原文地址：http://xccds1977.blogspot.com/2013/01/blog-post.html本文翻译自一篇博客文章，作者是一名软件工程师，他描述了在五年时间内学习数据科学的经历和心得，他的学习途径包括了自学（书籍、博客、小项目），课程学习，教学讨论，会议交流和工作实践。一、入门1）自学（2 - 4个月）自学是起步的

2014-03-17 22:08:42 1471

转载 R书精选16本（@xccds）

【推荐原因】我深有同感博主说言，现在人的烦恼是书太多，时间太少。古人云，俸出书来，落落大满，素蟫灰丝时蒙卷轴。现在是鼠标一点，几个T的资料就落落大满了。因此，选择性的阅读还是很重要的。原文地址：http://xccds1977.blogspot.com/2013/02/r.html以前人的烦恼是没有书可读，现在人的烦恼是书太多了。关于R语言的书已经出版很多了，博主大约读过其

2014-03-17 21:46:35 1871

原创数据陷阱

这四组数据中，x值的平均数都是9.0，y值的平均数都是7.5；x值的方差都是10.0，y值的方差都是3.75；它们的相关度都是0.816，线性回归线都是y=3+0.5x。单从这些统计数字上看来，四组数据所反映出的实际情况非常相近，而事实上，这四组数据有着天壤之别。

2014-03-17 20:45:21 1297

原创 Data Analysis Using SAS EG Syllabus

Data Analysis USING SAS EGSummer Term 2014Course Syllabus (10 Units and 20 lecture hours) CourseInformationInstructor: Zhicao LuoInstructor Blog:http://bolg.csdn.net/xmuecorEmail:zhi

2014-03-17 19:09:16 1586

四年半前我初来美国，时差还没倒过来便参加了所在的利伯缇大学(Liberty University)的教学培训，开学后将负责教授本科生人际交流和公共演讲基础课。负责培训的教授很干练，有多年教学经验，警告我们这些新手不要想着跟学生做朋友，要保持一种职业的师生关系。她拿我做例子：“杜刚从中国过来，在美国没有朋友，他可以去自己的学生中找朋友吗？当然不可以！如果你们不想找麻烦的话。”大家听了都笑了起来，我稍

2014-03-17 10:06:47 1764

转载《数理统计学教程》序言（陈希孺）

【推荐原因】大牛重思想，小牛重技术。陈希孺老先生，我心目中的大牛！陈希孺老先生的基本教材的难度梯度如下《概率论与数理统计》《数理统计学教程》《高等数理统计学》（《高等数理统计学》是《数理统计引论》的修订版本），另外陈老先生的《数理统计学简史》也非常值得一读，这些书网上都有电子版下载，不过强烈建议购买纸质版教程，对大师的作品一定不能盗版。由于本书话了较多篇幅在统计思想/观点和概念的阐述上，

2014-03-16 11:10:33 2727

转载如何成为一名合格的数据科学家（IT专家网）

【推荐原因】数据科学集合了计算机、数学、统计等领域的知识技能并应用于某个特定行业领域的业务分析，随着互联网时代的飞速发展，必将出现许多新的理论与方法。看看别人是怎么定义数据科学及数据科学家的。我比较赞同Neil Raden的定义，一类是专门研究算法的，另一类主要做模型应用。当然这两者不能绝对分离，仅仅是从工作重心上做一个简单划分。　　数据科学家是什么?　　这个看似简单的问题的答案，

2014-03-15 15:25:08 1388

转载没有痛苦的博士求学经历不是合格的（彭思龙）

【转载原因】记得王国维用了三句表示相思的语句以表现“悬思——苦索——顿悟”的治学三重境界，原文如下：“昨夜西风凋碧树，独上高楼望尽天涯路。衣带渐宽终不悔，为伊消得人憔悴。众里寻她千百度，蓦然回首，那人却在灯火阑珊处。” 下文有异曲同工之妙，故转载推荐。带了十几年的博士生，也毕业了三十多位博士，但一直有一个迷惑未解，就是这些学生大多数不愿意吃苦，都觉得老师没有给他们带上轻松的路。他们巴

2014-03-14 16:30:14 1502

转载 Diagram of distribution relationships（johndcook.com）

Probability distributions have a surprising number inter-connections. A dashed line in the chart below indicates an approximate (limit) relationship between two distribution families. A solid line

2014-03-13 17:31:13 1159

转载浅谈点估计概论（邓慧怡）

前言　　有一则网络笑话：蜜蜂小姐在母亲的安排下，隔天就要和蜘蛛先生结婚，结婚前夕蜜蜂跟妈妈抱怨：「我不想要嫁给蜘蛛那个丑八怪啦！」妈妈一边安抚着蜜蜂一边说：「虽然那个蜘蛛长是不怎么样，好歹人家也是搞网络的！」蜜蜂又说：「可是我觉得蟑螂学长比较好。」妈妈则说：「整天开着出租车在路上跑来跑去，有什么好？」蜜蜂又说：「那妳不觉得隔壁村的苍蝇很帅吗？」妈妈无奈的说：「他长的帅是没错，但也不能找个挑

2014-03-12 09:44:38 1484

转载为什么需要数据科学(Stanley C. Ahalt)

【题】为什么需要数据科学【作者】斯坦利·霍尔特(Stanley C. Ahalt)【出处】《中国计算机学会通讯》第 9 卷第 12 期 2013年12月刊【说明】本文由徐昆根据CNCC 2013 特邀报告由整理而成。关键词：数据科学本文将探讨数据科学(data science)带来的前所未有的机遇。这不仅代表着一门新学科的诞生，更重要的是，数据科学将在未来 30

2014-03-11 19:49:11 1972

转载数理统计学：世纪末的回顾与展望（陈希孺）

一、20世纪数理统计学发展概述　　20世纪，特别是其上半叶，是数理统计学发展史上一个辉煌的时代。从现代数理统计学框架的建立到发展为一个成熟的学科，是在这个时期完成的。20世纪初，数理统计学面临一个转折点，意思是它必须有新的突破才能获得进一步发展的契机。20世纪早期一批以费歇尔为首的统计学大师成功地应对了这个局面，创造了非凡的业绩。按照国际上一些知名统计学家的看法，20世纪末数理统计学发展的

2014-03-11 19:32:15 2006

转载中美两本有影响力数理统计学教材的对比及其启示（龚凤乾）

中美两本有影响力数理统计学教材的对比及其启示天津财经大学龚凤乾内容提要：本文对比已故陈希孺院士所著《高等数理统计学》及美国Bickel等人所著《数理统计：基本思想与专题，上卷》。全文共分五部分：第一部分“中美两本数理统计学教材内容对比”，第二部分“中美两本数理统计学教材开篇部分对比”，第三部分“两本教材关于统计推断与统计决策的看法择要”，第四部分“中美两本数理统计学教材习题安排一览”，

2014-03-11 17:11:53 10589

转载一个美国ECO PHD两年的学习总结

【转载原因】文章转载自网络上，这篇文章已经很有名气了。下面谈谈个人转载的原因。一方面，感慨人家是怎么读书的，想想自己的大学时光，有点忏愧，都忙于学生活动和风花雪月了。另一方面，文章中列出的学习路径和参考书目清单，很值得好好学习。一，序一转眼来美国读这个Econ 的PHD已经两年了，从刚来时的懵懵懂懂与对这边PHD生活的新奇感到现在的每周7天只能休息一个晚上的Extremely E

2014-03-11 16:42:36 3936 1

原创 SAS数据导入方法及参数解读汇总

在给学生上课或者与学生交流过程中，发现很多学生往往在导入数据第一步就“卡壳”了，因为现实的数据和教科书配套的习题集是完全不一样的。现实的数据集就好比一只没有杀好的猪，看你有没有本事从中提取你要的部位。而教科书配套的习题集已经是超市里面封装好的一块块“猪颈肉”或者“五花肉”。其实总结来说无外乎就这么几种方法，把这些代码保存起来，遇到相匹配的数据就直接把相应的代码拿来用。当然对其中的一些语法还是要

2014-03-11 16:06:07 3749

原创通过SAS宏实现自动导入批量数据

批量导入数据，是做分析的第一步，现在把之前www.rokia.org的论坛上写的一个帖子转过来，这个帖子居然也有16万次的阅读量，自我安慰一把。最近看了本书，《sas data preparation for data mining》觉得相当不错，其中很多代码都是相当经典的，而且难度也不大，决定在这学期把阅读笔记和代码说明写出来，与大家分享。

2014-03-11 11:45:50 8236

原创开张大吉

习惯了在自己的服务器上面架设论坛和博客，但是发现花了大部分精力在系统维护上，而忽略了内容建设。于是决定，找一个能够相对专业的博客平台，把以前的资料逐步搬迁过来。www.rokia.org Rokis Learns SAS论坛上的内容将逐步移到本博客。补记（20140312）唉，天下没有免费的午餐，使用别人的免费平台就要受别人的约束，昨天傍晚，转了一个贴，估计有些外链，就导致整

2014-03-11 11:18:52 756

四纪启悟 · 数据科学