- 博客(61)
- 收藏
- 关注
RSS订阅原创 [转]Yahoo持续的Pig/Hadoop(MapReduce)工作流
传送门：http://blog.sina.com.cn/s/blog_4a1f59bf0100utvd.html 主要内容我不用帖了，其实让我更有所得（或有所思）的是后面的评论：(贴一下，链接同上) medcl2011-08-31 15:09:40 [举报]Overnight success takes long time.~~小史的窗户2...
2013-03-16 21:40:29
142
原创 有关kvm
有一台式机，希望能模拟一个三四台的小集群，因为装的ubuntu，查了一下资料，kvm能充分发挥cpu(cpu支持vt-x技术)，工作如下： 找到了以下两篇：http://springsfeng.iteye.com/blog/1481861http://article.yeeyan.org/view/90729/347306 按照第一篇走下来，最终成功，需要记一下，不是一...
2013-03-16 21:15:00
143
2013-3-10日志
《集体智慧编程》第二章总结： 首先是需要数据 第二是构建好数据集之后，使用数据来度量用户间的相似度， 相似度有以下度量：参考：http://hi.baidu.com/black/item/79295353bb1bb8dfd58bac62 第三步，相似度求出后，可以将其视作从某用户出发对其它用户的打分，然后可以从该用户出发的对物品的打分，具体是以各用户的打分为加...
2013-03-10 16:30:20
129
20130301日志：第一个python脚本文件的执行
使用的参考书：《python学习手册》 第3章的“第一段脚本”那里，照抄代码，然后执行， 结果总是出现：File "stdin", line 1 python script1.pySyntax Error: invalid syntax 网上搜索了一下，原来，不能在交互界面运行python *.py这样的命令，应该退回命令行，再运行 接下来，...
2013-03-01 16:38:26
173
原创 关于全加权最小一乘法
这里是网址：http://www.doc88.com/p-70792074631 8.html 对于有限个点到直线最短距离和问题，上篇文章已经作了理论分析与解决，但是形成算法还需要考虑其他问题 如果对n个点两两穷举，算法至少是n*n的，可以考虑对横（或纵）坐标排序，取中间值的那个点为初始点，然后开始计算。 有关必要条件二，必通过两点的证明，是不对的，加入了一点后，可...
2013-02-26 23:40:31
274
原创 [转]包云岗 。普林斯顿 。《世纪图灵纪念》
传送门：http://www.tektalk.org/2012/11/02/%E5%8C%85%E4%BA%91%E5%B2%97-%E3%80%82%E6%99%AE%E6%9E%97%E6%96%AF%E9%A1%BF-%E3%80%82%E3%80%8A%E4%B8%96%E7%BA%AA%E5%9B%BE%E7%81%B5%E7%BA%AA%E5%BF%B5%E3%80%8B/#co...
2012-12-04 22:05:01
146
原创 电脑发热太凶，减小虚拟机内存，不用图形界面
http://forum.ubuntu.org.cn/viewtopic.php?t=294168http://www.linux99.com/edition/ubuntu/335.htmlhttp://blog.sina.com.cn/s/blog_46fc96160100pvn1.html 主要是以上几篇帖子，总结一下 开机进入命令行： 加入写权限（不一定需要）...
2012-02-23 22:48:10
322
原创 如何在windows下编译erlang
介绍常被问及的问题你所需要的工具及环境shell环境编译与安装开发使用Git最后的话版权与许可修改此文档 介绍此文档描述了如何在windows中构建erlang仿真器及OTP库。该说明适用于支持cygwin(为windows或Msys微系统模拟gnuish环境)的各种版本windows。我们已在如下平台构建过：Windows 2003...
2012-02-01 16:05:55
524
原创 win7+vmware6.0+ubuntu+桥接 无法上网
原文地址：http://www.360doc.com/content/11/0516/20/3554006_117261311.shtml 今天发现在win7下安装vmware6之后，再虚拟出的ubuntu10.04桥接方式无法上网，而NAT模式可以ping通外网，却无法打开网页，经过数小时网上查询，试验，终于发现上面这篇文章的方法解决了这个问题，最终是用的host only模式 ...
2012-01-30 17:00:06
104
原创 MapReduce流程分析
原文：http://blog.csdn.net/jackydai987/article/details/6227365 MapReduce流程分析接触Hadoop已经1年了，一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后，反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。...
2011-12-13 18:39:38
79
原创 [转]Twitter首席工程师：如何“打败”CAP定理
英文原文：How to beat the CAP theorem作者: Nathan Marz 来源: 《程序员》本篇转自：http://kb.cnblogs.com/page/124567/ CAP 定理是数据系统设计的基本理论，目前几乎所有的数据系统的设计都遵循了这个定理。但 CAP 定理给目前的数据系统带来了许多复杂的、不可控的问题，使得数据系统的设计越来越复杂。Tw...
2011-12-12 11:44:33
140
原创 自行编译hadoop eclipse-plugin for eclipse3.7
主要是这两篇文章：http://varyall.iteye.com/blog/763886http://hi.baidu.com/feng2211/blog/item/4ab8a2095eb1b9a42eddd48e.html 在我的实践过程中，按照前者的顺序，ant compile->ln -sf ... ->ant package在ant package时...
2011-12-12 11:33:34
79
原创 hadoop eclipse plugin 之二
前面已经有一篇记述了hadoop-plugin for eclipse的安装，但是仍受限于run on hadoop不能工作，而且是在虚拟机内部，没有试过在虚拟机外用eclipse连接虚拟机内部的hdfs为解决以上两问题，总结这两天的工作情况一、结合网上的说法，plugin是用eclipse europa开发的，可以和这个版本良好结合，试过，确实可以使用run on hadoop了。二...
2011-12-03 11:47:02
92
原创 重装总汇
除了更新以外，软件安装如下 一、安装sun jdk按住ALT+F2.输入gksu /usr/bin/software-properties-gtk然后在‘其它软件’－‘添加’下面的内容：deb http://archive.canonical.com/ubuntu maverick partner然后执行： sudo apt-get install sun-ja...
2011-12-01 11:09:29
101
杯具的重装历程
昨天，手工安装rabbitcvs不成功，于是对照先开始安装的包一个个remove，结果，卸掉了很多其它包，实在不知道如何恢复，只好重装，（ps，当初应该snapshot一下的，后来记住了） 结果我又做了一件多余的事，升级vm至8.0.1，浪费了时间，然后再装ubuntu11.10 装好系统开始软件安装，首先是极点五笔，然后是sun jdk，设置默认JDK，接着是eclipse3.7...
2011-11-29 14:10:26
88
原创 转载：统计学读物推荐
传送门：http://www.hadoopor.com/thread-245-1-1.html 此篇仅供参考 一、统计学基础部分 1、《统计学》 David Freedman等著，魏宗舒，施锡铨等译 中国统计出版社 据说是统计思想讲得最好的一本书，读了部分章节，受益很多。整本书几乎没有公式，但是讲到了统计思想的精髓。 2、《Mind on statistics(英文版...
2011-11-17 10:32:16
148
sql练习
表如下：Student(s#,Sname,Sage,Ssex);学生表Course(c#,Cname,T#);课程表SC(s#,c#,score);成绩表Teacher(t#,Tname);老师表 1.查出所有课程001成绩比课程002成绩好的学生的学号 2.查出所有平均成绩大于60的学生的学号，平均成绩； 3.查出所有同学的学号，姓名，选课数，总成绩；...
2011-11-16 21:21:00
183
os concept 1.2.1
1.2.1 Computer-System Operation A modern general-purpose computer system consists of one or more CPUs and a number of device controllers connected through a common bus that provides access to shar...
2011-11-16 21:21:00
85
os学习
操作系统视频+操作系统概念7e 看视频，提出问题，然后结合书来看 概念多，要经常复习概念，要明白也许不是一次就能理解到位的；抽象，原理多，同样一般不是一次理解到位的，要理解为什么原理是这样，好处，坏处是什么。 ——20110103...
2011-11-16 21:21:00
103
[java puzzles]puzzle:Oddity
The following method purports to determine whether its sole argument is an odd number.Does the method work? public static boolean isOdd(int i){ return i % 2 ==1;} Solution: An Odd numb...
2011-11-16 21:21:00
130
ds note1
《数据结构与算法》Java版 java无指针，链表的结构定义； 注意类定义中包含自身的自身的类引用； 构造一个很长链表时，比如长度超过一千，不可能next.next.……，解决方法 每个链表都有两个指针，一个指向头，一个指向尾，然后头插法，尾插法...
2011-11-16 21:20:00
85
[待解决]C++ primer中有关endl刷新输出流
Programmers often insert print statements during debugging. Such statements should always flush the stream. Forgetting to do so may cause output to be left in the buffer if the program crashes, leadin...
2011-11-16 21:20:00
123
纯数教程笔记一
有理数的稠密性：在数轴A上任取线段BC，总可在其中找到任意多个有理点<=>给定任一有理数r与任一整数n，都江堰市可以在r的每一边找到另一有理数，它与r的距离小于1/n； more:给定二有理数r,s，都可以在它们之间插入一列有理数，其中任何两个相邻的数之间的差都可以任意小（给定整数n,小于1/n）...
2011-11-16 21:20:00
197
0727
ftp架设http://blog.csdn.net/Ericherry/article/details/6224281hivehttp://xm-king.iteye.com/blog/1088422http://wenku.baidu.com/view/90dad7659b6648d7c1c7460e.html平台架设http://rdc.taobao.com/team/...
2011-11-16 21:18:00
102
change
c/b-s->cloud computing ipv4->ipv6 phone->pad->notebook->pcand others:kinect/wii/ps3/xbox/kindle/bambook core solo->multicore cpu->cpu+gpu->... opencode-&g...
2011-11-16 21:18:00
87
HDFS study
http://varyall.iteye.com/blog/763783http://www.docin.com/p-203214495.htmlhttp://blog.csdn.net/fly542/article/details/6817444《hadoop实战指南》HDFS实验设计前提与目标体系结构保证可靠性常用操作...
2011-11-16 21:18:00
71
20110831
first problem:<span style="font-family: Arial, Verdana, sans-serif; white-space: normal; background-color: rgb(255, 255, 255);" mce_style="font-family: Arial, Verdana, sans-serif; white-spa...
2011-11-16 21:18:00
57
YCSB%e6%b5%8b%e8%af%95hbase
首先，ycsb放狗，第一个就是https://github.com/brianfrankcooper/YCSB/wiki新东西一般只有国外首先有技术文档，所以一定要耐着性子看英文，开个词霸，google翻译从getting started开始obtain YCSB source首先是下载一个压缩包，或者安装git(类似svn)下载源代码，再buildbuild the ba...
2011-11-16 21:16:00
575
yahoo论文：Benchmarking Cloud Serving Systems with YCSB
摘要：针对大规模数据分析的mapreduce技术已被广泛意识和研究，我们已经看到了云数据服务系统数量的爆炸性增长。这些新系统是所谓“云ＯＬＴＰ”应用，虽然它们并不支持ＡＣＩＤ事务。典型例子如BigTable,PNUTS,Cassandra,HBase,Azure,CouchDB,SimpleDB,Voldemort,等等。而且它们被应用于不同于传统服务工作量的很多领域（如ＴＰＣ－Ｃ）。The nu...
2011-11-16 21:16:00
368
10.25在家工作记录
重装ubuntu11.10装五笔apt-get install ibus-table-wubi 安装JDK//更换数据源 sudoadd-apt-repository"debhttp://archive.canonical.com/lucidpartner"//更新数据源 sudoapt-getupdate //安装sun-jdk ...
2011-11-16 21:15:00
90
hbase 索引记录
根本目的是实时的查询速度 从两方面来看：一、HBase自身的原理，机制。二、索引的原理机制。 一、HBase：reference: HBase技术介绍｜淘宝技术博客http://www.searchtb.com/2011/01/understanding-hbase.htmlHBASE松散数据存储设计初识｜放翁（文初）的一亩三分地http://w...
2011-11-16 21:15:00
136
ubuntu install eclipse
首先一篇教程：http://www.husw.net/blog/post/1354/ 按照步骤：用firefox下载了eclipse的包，在/home/lf/Downloads下面，要解压到/opt下应该用这个命令： sudo tar -zxvf eclipse-jee-indigo-SR1-linux-gtk.tar.gz -C /opt ...
2011-11-16 21:15:00
111
[转帖储存]erlang中的元组与列表的区别与联系
传送门：http://blog.chinaunix.net/space.php?uid=22566367&do=blog&id=1993490 在erlang程序设计中，元组与列表本人很容易混淆，不知道什么时候应该使用元组，什么时候应该使用列表，为此，我查阅了一些网上的资料，并添加了一些自己的理解，如果有理解不到位的地方，欢迎大家指正。 元组： 将一定数量项组成...
2011-11-16 15:04:00
165
linux下bin文件如何安装总结
对于某file.bin文件首先：添加可执行权限，sudo chmod +x file.bin然后执行：sudo ./file.bin
2011-11-16 13:56:00
638
【转】函数式编程另类指南
译文链接：http://erlang-china.org/study/yet-another-pf-guide.html原文：Functional Programming For The Rest of Us原文作者：Vyacheslav Akhmechet翻译：lihaitao (电邮: lihaitao在gmail.com)翻译原帖：函数式编程另类指南(似乎已删除) 校...
2011-11-16 13:42:00
168
erlang重新开张
以此庆贺重拾erlang 重看《erlang程序设计》一书，从安装开始，已经试过windows安装，这次先试linux安装，然后卸载掉安装命令用apt-get install erlang 安装完成后，可以用erl命令查看安装好的erlang相关信息，并进入erlang shell退出命令是先ctrl+c，然后选A 卸载erlang命令：...
2011-11-16 13:39:00
71
《实分析》之二：为什么要做分析
此节中给出了一些规则的反例： 1.2.1等式两边用零相除1.2.2发散级数（同样用到等式的相关性质）1.2.3发散序列1.2.4函数的极限值1.2.5交换求和次序1.2.6积分换序1.2.7极限换序1.2.8同上1.2.9极限与积分交换次序1.2.10极限与求导换序1.2.11交换求导次序1.2.12L'Hopital法则1.2.13极限法示...
2011-11-12 19:54:00
120
总结与思考
界面的工作没有技术含量，但是视个人熟练充的不同其实各人的价值也不一样，但是上限小。 技术的发展很快，要抓住其中的不变量（相对的，在长时间内不变，比如五年十年），所以基本的如算法设计，数学是最重要的，掌握其思想 结合目前所知，比如工作相关的数据挖掘，经常用到统计，依赖于概率统计，而之前又有数学分析与线性代数等基础课程。 所以下面的工作是 读陶哲轩的《实分析》，练习...
2011-11-10 17:39:00
113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人