2013年10月_j3smile

12月 11月 10月

原创关于什么是数据分析

今天和老大交流，有种听君一席话，胜读10年书的感觉首先是数据处理的流程:数据抽取ETL->数据仓库DW->在线分析处理OLAP->前端展示数据分析和挖掘最重要的不是技术，而是你能不能正常的定义问题。用olap的方式理解数据处理的流程给你一个问题，用你的思路去解决：数据都是可以用维度和度量来定义的。

2013-10-31 22:54:58 832

原创 hive 动态分区分区数太多出错

insert overwrite table lobehaviour_trade_daily partition (part) select dp_id, buyer_nick, to_date(created), payment, 0 as item, if(to_date(modified)from taobao.s_trade_hbase where (partdistrib

2013-10-30 17:33:56 3569

转载 ubuntu 进入单用户模式

进入单用户模式: 按shift进入1、开机到grub时，用上下键移到第二行的恢复模式，按e（注意不是回车）即Ubuntu，With Linux 3.2.0-23-generic（recovery mode）2、把ro recovery nomodeset 改成rw single init=/bin/bash 然后按ctrl+x 就可以进入单用户模式。

2013-10-29 18:22:58 14504

原创 ubuntu 重启后黑屏

根目录下满了，做了写操作，重启后就黑屏了。能进init 3 不能进 init5 说明图形界面不能用了。然后开机时按e进入，将splash删除后启动，进入无界面登录start lightdm 后：failed to use bus name org.freedesktop.displaymanager然后：http://www.kubuntuforums.net/arc

2013-10-29 17:19:40 6064

原创 R cannot mkdir R_TempDir

If /tmp is full, you can't create subdirectories there.

2013-10-29 11:54:17 3645

原创 R 朴素贝叶斯垃圾邮件分类

问题1：直接计算先验概率的话，连乘导致数据溢出。不能比较大小。解决：转乘为加

2013-10-24 18:36:37 1216

原创部署需要考虑

一半一半的来数据

2013-10-24 17:23:12 558

原创项目发布

发布过程中涉及的每一步必须搞明白refund发布过程中出错

2013-10-24 10:59:02 537

原创 R 错误

get_msg(file.path(hard_ham,files[250]))Error in (which(nchar(msg, allowNA = T) == 0)[1] + 1):length(msg) : NA/NaN argumentwhich(nchar(msg, allowNA = T) == 0)[1]返回NA

2013-10-23 23:01:58 1665

原创 R tm

> tdm <- TermDocumentMatrix(doc.corpus)Error in simple_triplet_matrix(i = i, j = j, v = as.numeric(v), nrow = length(allTerms), : 'i, j, v' different lengthsIn addition: Warning messages:1: In

2013-10-23 16:48:14 2752

原创 eclipse 打包时包括外部jar

在这个项目下建个lib目录，将所有依赖的jar包放在这里面。然后：通过add jars添加进来就OK了

2013-10-22 18:01:35 653

SdfTextInputFormat.java

实现了mapreduce框架中，输入文件按特定标志如（'$'）分片处理。

2012-03-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人