duqi_yc的专栏

转载 易经-12月份对应

一年12个月易经卦象 我们知道12生肖是对应12个月份。其实易经也是有卦象对应12个月份，并且从卦象上能够知道大自然发展变化的规律：12生肖从“鼠”开始，就是“子”开始，十一月，（如果表示是“时辰”就代表“子时”）。用易理表示是这样：子月：地雷复▅▅　▅▅▅▅　▅▅▅▅　▅▅▅▅　▅▅▅▅　▅▅▅▅▅▅▅上卦“地”下卦“雷”。“雷”入地下，所以，

转载 易经-12月份

餅乾看易經，有一個易經獨有的好玩的東西，同大家分享~ 古人把易經六十四卦中的十二卦單拿出來，代表一年的十二個月份，組成了人類的十二鐘命運和性格，很有意思~大家自我參照嘍~ 分別是（餅乾已經換算成陽曆的啦，大家不用推算陰曆）： 1月 / 臨卦，性格：願意貼近生活，有些孤傲，自己也很誠懇，總愛取悅對方，喜歡別人配合自己，擅長看清楚別人的特點，容易放肆無忌

转载 Python_字符编码解释

字符编码我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大

转载 #R语言#读入和保存

> write.table(x,file="mydata",row.names=FALSE,col.names=FALSE)  #可以> write.csv(x,file="mydata2",row.names=FALSE,col.names=FALSE)  #不可以1. 首先用getwd() 获得当前目录，用setwd("C:/data")设定当前目录：2.0 数据保存：创建

转载 Python在HiveQL中的运用

转载自：http://spinlock.blog.51cto.com/607469/976824在写HiveQL的时候，往往发现内置函数不够用，Hive支持用户自定义函数UDF，使用Java进行开发。很多时候这显得过于繁重。因而Hive中提供了Transform机制（基于hadoop streaming），这种机制相当于提供了一个脚本程序的入口，因此我们可以很方便的使用shell、perl

转载 #电商#国内外电商网站

精简高端：http://www.neimanmarcus.com/ 量少，精致http://www.jcpenney.com 更偏向杂志型http://www.saksfifthavenue.com/  美国纽约第五大道在线，一应俱全的高端百货。http://www.zazzle.com/  美国原创设计定制产品销售。（左边的导航很有质感）http://www.

转载 #python# smtplib 邮件发送

在基于互联网的应用中，程序经常需要自动地发送电子邮件。如：一个网站的注册系统会在用户注册时发送一封邮件来确认注册；当用户忘记登陆密码的时候，通过邮件来取回密码。smtplib模块是python中smtp(简单邮件传输协议)的客户端实现。我们可以使用smtplib模块，轻松的发送电子邮件。下面的例子用了不到十行代码来发送电子邮件：[python] view plaincopy

转载 #R#时间序列相关函数

文档1：《R与金融时间序列分析常见问题集》【包】library(zoo)            #时间格式预处理library(xts)            #同上library(timeSeires)      #同上library(urca)           #进行单位根检验library(tseries)         #arma模型library(f

转载 #R#RWeka

今天在找关联规则相关的资料时候，无意发现R语言中文论坛，虽然里面的资料有限，但是很有价值，譬如RWeka，一种开源的机器学习工具，在此予以介绍：背景介绍： #此前在首页部分显示#1）Weka： Weka有两种意思：一种不会飞的鸟的名字，一个机器学习开源项目的简称（Waikato Environment for Knowledge Analysis，http://www.cs.wai

原创 2014年要做的事情！

感谢美好的2013，感谢周围给于支持和鼓励的人，感谢家人的理解和陪伴。2014，我来了！2013，有些事情做的不错，有些事情没有做好。过去的做的不好的反思一下，做的OK的继续保持。接下来的一年，自己想做的事情如下：1）继续提升R的功力2013年，自己在R方面的提升很明显。自己可以说已经是一个R'er了。但是，在Data mining上，自己还是欠缺很多。最近，自己对于Data Mini

转载 #R# LInxu中如何执行R脚本

1） 写一个R的脚本 写成R脚本，之后放入系统运行。比如R脚本test.r：#! /usr/lib/R/bin/Rscript --vanilla # options：默认--restore -- save --no-readline；--help 查看帮助信息；--version 查看R版本；--slave只打印R脚本的输出，而不显示脚本具体执行情况；--no-timing 去除

转载 #R#RWeka的介绍

转载自：http://blog.sciencenet.cn/blog-460242-350331.html背景介绍： 1）Weka： Weka有两种意思：一种不会飞的鸟的名字，一个机器学习开源项目的简称（Waikato Environment for Knowledge Analysis，http://www.cs.waikato.ac.nz/~ml/weka/）。我们这里当然要介绍的

转载 #R#通过ARIMA自动拟合与预测

转载自：  http://blog.macro2.org/2011-09/r%E7%AE%80%E5%8D%95%E7%9A%84arima%E6%A8%A1%E5%9E%8B%E8%87%AA%E5%8A%A8%E6%9C%80%E4%BC%98%E6%8B%9F%E5%90%88%E4%B8%8E%E9%A2%84%E6%B5%8B.html昨天用R折腾了一个简单的时间序列数据Arim

原创 #R# RODPS的帮助信息

Information on package ‘RODPS’Description:Package:       RODPSVersion:       0.1-1Title:         R interface to interact with ODPSDescription:   This package is developed for R to in

原创 #推荐算法大赛#过程记录

# 12.18 1） 注册帐号；填写要求的信息；2）安装ODPS的客户端a>gunzip  odps_clt_release_64.tar  # 打包b>mkdir odps c>tar xf odps*.tar -C odps#-------------------------------------------------------------------

原创 #Python_安装Module#easy_intall,and pip

1)Easy_install and pip关于什么是easy_install和pip，如果不懂，请百度和google之。毕竟，如果想使用Python，不得不用Module；如果要用Module，必须安装；如果想安装，必须easy_install和Pip。可能我觉得R在install package的时候会更方便，直接install.packages("Knitr")，这样一个命令就搞

转载 #R_exel#从R里面底层操纵Excel/xlsx（自动化报告福音）

转载自：http://www.loyhome.com/%E4%BB%8Er%E9%87%8C%E9%9D%A2%E5%BA%95%E5%B1%82%E6%93%8D%E7%BA%B5excelxlsx%EF%BC%88%E8%87%AA%E5%8A%A8%E5%8C%96%E6%8A%A5%E5%91%8A%E7%A6%8F%E9%9F%B3%EF%BC%89/好吧，我在eBa

转载 #R_model#

转载自：http://blog.sina.com.cn/s/blog_5cfc31e00101bxfp.html决策树最重要的2个问题：决策树的生长问题，决策树的剪枝问题。    生长问题又包括了2个子问题：从分组变量的众多取值中选择一个最佳分割点和从众多输入变量中选择当前最佳分组变量；    剪枝问题包括2个子问题：预修剪（事先指定树的最大深度，叶子的最小样本量等）和后修剪（

转载 AWK的常用命令

awk 用法：awk ' pattern {action} '  变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数 OFS 输出域分隔符 ORS 输出记录分隔符 

转载 #R_画图#R中各种常用函数集合

前言本篇日志汇总各个地方的自以为有用的画图函数，所以有一点杂乱。但是内容绝对实用。我会尽量注明出处，保证原创者的权益！如果有哪个地方未注明，请及时提醒通知！1）Matplot> round(head(sines),5)        [,1]    [,2]    [,3]     [,4][1,] 0.15643 0.30902 0.45399  0.58779[

转载 #R_画图# 转载自-谢益辉《现代图形统计》标题中换行，以及mtext的使用

转载 Linux 邮件发送

因为需要经常备份网站的数据，所以了解并学习了下linux下如何通过shell来发送邮件，这里以CentOS为例，使用mail命令来进行外部邮件的发送。mail命令的语法如下：Usage: mail [-iInv] [-s subject] [-c cc-addr] [-b bcc-addr] to-addr ... [-- sendmail-options ...

转载 #分析方法#波士顿矩阵

波士顿矩阵编辑波士顿矩阵（BCG Matrix）， 又称市场增长率-相对市场份额矩阵、波士顿咨询集团法、四象限分析法、产品系列结构管理法等，是由美国著名的管理学家、波士顿咨询公司创始人布鲁斯·亨德森于1970年首创的一种用来分析和规划企业产品组合的方法。这种方法的核心在于，要解决如何使企业的产品品种及其结构适合市场需求的变化，只有这样，企业的生产才有意义。同时，

转载 芒格在斯坦福学院的演讲：生活智慧

今天我想把两年前在南加州大学商学院的演讲内容延伸开来。各位手里都有一份该演讲的文稿，虽然内容可能会出现交叉，但我将力求挖掘更深的角度。　　如果巴菲特从哥伦比亚商学院毕业之后就停止学习的脚步，伯克夏很可能会固步自封，不会有质的蜕变。沃伦会成为富人——作为格雷厄姆在哥伦比亚大学的嫡传弟子，他所得到的真传可以让任何一个人兜里装满财富。但如果他止步不前的话，今天的伯克夏•哈撒韦不可能达到现金的境界

转载 #R# Memory

MemoryUnderstanding how memory works in R can not only help you analyse larger datasets with the same amount of memory, but is also important for writing fast code, as accidental copies are a majo

转载 #R#R语言决策树和聚类的实例

转载自：http://www.pricepu.com/?post=8。后续工作参考。

转载 #R#The multiplot() Function

转载自：http://www.peterhaschke.com/r/2013/04/24/MultiPlot.htmlThe multiplot() FunctionQuite often I want to print multiple figures to a device. When faceting is not an option this can be quite te

转载 #R#R语言-常用一些函数杂记

转载自：http://www.douban.com/note/287485797/一、查看数据结构dim(iris) # 了解数据集的维度，有多少行多少列？names(iris) # 数据有哪些列？str(iris) # 数据的结构如何？attributes(iris) # 数据的列名、行名和数据结构然后看看数据集前几行和后几行长成什么样

原创 #R# R读取文件夹及文件

## -----------------------------------------------读取文件夹----------------------------------------------------------------## List the Files in a Directory/FolderDescriptionThese functions p

转载 #R#R读取EXCEL文件方法

转载自：http://yixuan.cos.name/cn/2012/01/new-method-to-read-excel-file-in-r/还在纠结用如何用R读取Excel的同学有福了。昨天逛CRAN的时候发现了一个xlsx包，它给出的介绍是可以读取、写入Excel 2007/2003文件并支持格式的设置。简单地来说，将Excel读取为数据框，以及将数据框写入为Excel文件都不是问

转载 #hive# python利用thrift连接hive

Thrift是一个跨语言服务部署框架，最初由Facebook于2007年开发，后于2008年进入Apache孵化器(Apache Incubator)。类似于SOAP，COM 和CORBA，Thrift通过定义一个中间定义语言和Thrift代码生成工具，生成指定语言的代码。目前，Thrift支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haske

转载 #hive#HIVE中使用python实现UDF

HIVE中使用python实现UDFHIVE，FACEBOOK的一个开源项目，利用类SQL的语句（HiveQL）来加快一般的MapReduce的开发过程。UDF，user defined function, 因为HIVE毕竟不是一般的关系型数据库，支持的HQL有限，如果要实现复杂的功能，就要通过自己定义函数来帮助实现。HIVE应该利用PIPE的原理，将自己查询的结果放到

原创 #R#R presentation and Shiny package

（1）Rstudio的V98版本，新添加了一个R Presentation功能，结合了Markdown和Knitr的功能，可以直接slide了。参考：http://www.rstudio.com/ide/docs/presentations/displaying_and_distributing_presentations（2）另，有一个web application pack

原创 #数据分析# 数据分析Tips

1，不要期望数据分析一次性完美，把重点问题，或者结果以最快的速度反馈出来，才是最好的。根据反馈的结果，跟相关同学讨论修改，会越来越接近完美的结果；2，前后要保持一致。这里的“前”和“后”，指在做事情前，要跟相关业务方确认要做的事情，分析的细节等等；做完以后，再跟业务方确认结果是否跟之前想要的东西一样，保持“前”和“后”的一致性，不要“想当然”，和“自以为”；3，做分析以前，要提前考虑好分析

原创 ggplot系列2-更多画图细节——坐标轴和图例

ggplot更多画图细节——坐标轴和图例Date: 2013.10.5Author: duqi.yc@taobao.com1、不同Data Set数据在同一图中展示假设x 是包含419096_1006这个PID的各个效果指标数据，y是包含419253_1006的各个效果指标数据，如果让两个pid的同一个指标click画在同一个图中展示，如下：p p+ geo

原创 #R-ggplot#qplot笔记

ggplot系列1——qplot画图  Date:2013.9.29  Author:duqi.yc 1、Preface最初选择R的理由之一，就是觉得它画图比较不错，简单美观，比起SAS各种地方调试，R更容> ?qplot易上手。这可能跟我有MATLAB基础有关系吧。熟悉了plot,bar,boxplot等之后，突然发现了

转载 如何才能快乐？

简单几步让你过上简单且知足的生活。7. 早上，不要查看邮件说实在的，把那样的垃圾清掉。当你最初醒来的时候你的大脑不同的活动着，以查看电邮来度过这段时间是可怕的精神浪费。电邮已经成为大多数人的工作，那么如果有人让你上午做的第一件事就是清掉这些垃圾，你会这样做吗？醒来时试着做的事物：躺在床上，考虑你今天想做的更好的一件事。散步。做爱。不是开玩笑，性爱刺激的远不是你身体的

原创 #统计学# 笔记

# 2013.9.4#------------------------------------------------------------------------------1，样本选取的时候，要考虑两个点：a>偏差：当我们取很多样本时，统计量一直朝同一个方向偏离总体的参数值。b>变异性：当我们取很多样本时，统计量的值会离散到什么程度。变异性大，就代表不同样本结果可能差别很大。

原创 #R_packages# P4P packages

Package: P4P # -----------------------------------------------------------------------------------------------------------------------------------# 1，customer_level.R 简单的10分法，对客户分类# 2，week

转载 #互联网广告#复杂网络机遇和挑战（十大问题）

转载自：http://blog.sciencenet.cn/home.php?mod=space&uid=3075&do=blog&id=719543复杂网络的相关研究进入中国已经十年，同时一年一度的全国复杂网络大会也已经进入了第九届。在过去的十年中，很多研究方向受到来自不同研究领域学者们的广泛关注，并极大的推动了复杂网络和复杂性科学的发展。同时，我们也注意到，随着信息技术的飞速发展，使得