yza而已-CSDN博客

原创个人R学习笔记

好久不用就会生疏，最近重学R，用的是《R语言实战》，记一些笔记。。。1.矩阵 ( matrix )假设 > x > x [,1] [,2] [,3] [,4] [,5][1,] 1 3 5 7 9[2,] 2 4 6 8 10那么> x[1, c(4,5) ]是矩阵

2017-04-05 18:08:16 284

原创用python在hadoop上运行wordcount

1.gedit wordcount_mapper.pygedit wordcount_reducer.py2.chmod 775 wordcount_mapper.pychmod 775 wordcount_reducer.py3.上传测试文件到HDFShadoop fs -put testfile1 input/pyhadoop fs -put t

2015-12-14 16:07:24 1138

原创 spark+python学习笔记感想

上周终于把coursera上的一门数据课程结束了，并且通过了，周四根据课程assignment做的实验印象很深，觉得有必要记下来。Hadoop Platform and Application Frameworkby University of California, San Diegohttps://www.coursera.org/learn/hadoop/home

2015-12-14 16:06:26 1744

原创 hadoop+mahout 建立决策树实验的问题

12/3今天再战决策树，用的还是KDDTrain数据集然后今天实验感觉快成功了，首先这是这样的1.hadoop jar mahout-examples-0.7-job.jar org.apache.mahout.classifier.df.mapreduce.BuildForest -Dmapred.max.split.size=1874231 -d dttest/inp

2015-12-03 15:30:15 795

原创大数据兴趣相关

今天发现了个数据来源，非常有意思，可以从他人的作品里面看到别人做得如何的好，看完了让我更有奋斗的方向http://www.bayareabikeshare.com/open-data大概是San Francisco的自行车租借数据，记录了相关的各种数据，而且数据是公开的，可以拿来自己做分析，里面看到别人的作品都非常厉害。其中一个人的作品，数据可视化，记录了最常用的几个租

2015-11-27 14:53:55 314

原创 Python学习笔记（1）

为了做Coursera上的作业，我需要学习Python来写代码，以前就有过想要学习Python的想法，现在马上行动这次是在另外一个学习网站上：dataquest 上学习的，相比datacamp上的R教程，这个我觉得还不太习惯，虽然两个网站看起来是一家做的，但是帐号不通用。。贴上API中文文档，感谢他们的付出http://python.usyiyi.cn/python_2

2015-11-27 14:53:03 378

原创 R 学习笔记（ 2 ）

今天开始继续学习R ，进入Intermediate（中级） R部分这次是运算符部分1.！= 和 == 同样适用于R里面2.TRUE ==1 ， FALSE == 03.对于数组中的数同样可以使用运算符，具体用法如下：# The linkedin and facebook vectors have already been created for y

2015-11-27 14:52:12 654

原创个人Hadoop实验决策树算法学习笔记

参考的文章：http://blog.csdn.net/fansy1990/article/category/1313502http://blog.csdn.net/ashqal/article/details/20915431错误1：File does not exist: /user/jxxy/input/dttest/kddTrain.txt上传的目

2015-11-24 16:50:40 769

原创学习Hadoop中的几个问题

1.eclipse配置hadoop插件参考链接，我在这里学到的：http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/感谢前辈的指导注1：在eclipse上测试wordcount中的几个注意的地方·编写好测试的文档后要上传到HDFS上如果文件夹（在hadoop目录下）是inp

2015-11-19 18:29:24 422

翻译 hadoop 学习笔记（1）

在Coursera上学习的一门课程：Hadoop Platform and Application Frameworkby University of California, San Diegohttps://www.coursera.org/learn/hadoop/home/welcome里面讲得很好，就是我这边的网下不下来一个cloudera的软件，我也正在学

2015-11-17 20:22:01 368

原创个人R语言学习笔记（1）

我在 www.datacamp.com 上面的免费课程学习R 语言，现在刚开始入门，记下一些函数的笔记，以后往数据分析/挖掘发展vector:sum( )： It calculates the sum of all elements of a vector 计算向量里面所有元素的总个数total_poker > 和answer total_roulette

2015-11-15 12:18:44 480

sinat_29373157的博客