- 博客(157)
- 收藏
- 关注
RSS订阅深入理解Hadoop集群和网络
本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map Redu...
2012-08-31 16:37:00
66
MapReduce操作HBase
这两天看了一下HBase的基本操作，然后又重温了下Hadoop的MapReduce的基本操作(虽然之前看的也是一般般，理解不是很深)。本来打算昨晚完成两件事情的：1、使用map任务读出HDFS 上的文件，并把他导入到HBase中；2、使用map任务读出HBase中的数据，并使用reduce输出到文件中。我的数据使用如下：（只是很少的数据）首先贴代码，然后再说明问题吧：packag...
2012-08-31 10:00:00
103
MapReduce操作HBase
这两天看了一下HBase的基本操作，然后又重温了下Hadoop的MapReduce的基本操作(虽然之前看的也是一般般，理解不是很深)。本来打算昨晚完成两件事情的：1、使用map任务读出HDFS 上的文件，并把他导入到HBase中；2、使用map任务读出HBase中的数据，并使用reduce输出到文件中。我的数据使用如下：（只是很少的数据）首先贴代码，然后再说明问题吧：packag...
2012-08-31 10:00:00
58
如何学习GIS
GIS日益大众化，GIS专业人员的角色有何变化？Esri努力简化GIS工具，并创建新的轻量级的GIS应用程序，这将使得GIS专业人员变得更富有成效。建设地理空间信息的作用仍然很重要，这需要专项的技能，包括：数据处理，数据管理，分析建模，高质量制图，可视化呈现，并能够理解信息系统基础设施，所有这些技能都很必要，而且需求量很大。通过ArcGIS Online，普通GIS用户也可以把他的成果...
2012-08-31 09:17:00
182
xstart图形登录linux报错：The X11 forwarding request was rejected!
问题描述：xstart图形登录linux报错：The X11 forwarding request was rejected!如下图原因分析： 由于最近安全加固做了openssh版本升级，网上搜索相关文章，发现需要修改/etc/ssh/sshd_config文件中的X11Forwarding参数为yes，但是修改后仍然不行。最后竟然通过修改UseLogin参数为no解决。神...
2012-08-30 17:19:00
372
在Meego上实现一个播放器——简介
在Meego上实现一个播放器——简介去年此时，Meego已死。一年之后，Jolla带着Meego重出江湖。实验室的项目从Meego到Android，又回到Meego，倒不是因为它重出江湖，而是因为实验室一年多以前在Meego最火的时候申请的国家重点项目还没有验收。国家的项目真是落后啊，人家死了又活了，居然之前的项目还没有验收，这是一种讽刺吗？哎，不想多说，这期就说一下项目的需求吧。1....
2012-08-30 11:33:00
139
org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 6 actions: DoNotRetryIOE
今天做了两件事：其一，编译打包hadoop-eclipse-plugin-1.0.2.jar；其二，使用mapreduce操控hbase（上面两个操作都在eclipse完成）。先说下版本吧：hadoop:1.0.2; hbase:0.94.0，系统是Ubuntu11.10.打包编译感觉还好，hadoop1.0.2没有现成的eclipse插件，所以要自己编译打包才行，我参考了下面的文章进行了...
2012-08-30 08:34:00
650
org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 6 actions: DoNotRetryIOE
今天做了两件事：其一，编译打包hadoop-eclipse-plugin-1.0.2.jar；其二，使用mapreduce操控hbase（上面两个操作都在eclipse完成）。先说下版本吧：hadoop:1.0.2; hbase:0.94.0，系统是Ubuntu11.10.打包编译感觉还好，hadoop1.0.2没有现成的eclipse插件，所以要自己编译打包才行，我参考了下面的文章进行了...
2012-08-30 08:34:00
455
【svm学习笔记】svm_理论基础5
【线性不可分问题 之 松弛变量】经过核函数变换，原则上已经能把绝大多数样本分开了（如果还不能大规模分开，那要查一查特征选择那块儿了，是不是抽取特征太少，或者抽取方法不对），剩下的少量样本还不能分开，怎么办？这里的办法是特殊样本特殊对待，如果样本很“离群”，我们就认为是噪声，不加理会；如果不太“离群”，我们就要多花精力去看看。不过思路是这样，怎么体现在目标优化函数上？这就引入了松弛变量。...
2012-08-30 00:10:00
83
【svm学习笔记】svm_理论基础4
【线性不可分问题 之 核函数】上面讨论的都是线性可分问题，虽然最终也没看到解的样子或者解的方法，总之，我们假设已经可以解了。接下来，如果样本线性不可分，咋整？好办。记得从前图像处理里面有个小波变换，大概的意思就是时域效果不好的话，变换到复域效果就好了，变换的名称我记得叫傅里叶变换。在这里也是一样。如果我们在某个样本空间中找不到最优分类面，那么我们就想办法把他映射到高维空间去。前段时...
2012-08-29 23:17:00
89
【svm学习笔记】svm_理论基础3
回顾一下上文的思路，对于线性可分问题，我们可以用超平面将训练样本分开。但是通常超平面有很多个，我们选择距离两类样本点几何间隔最大的那个，这样能够使得模型错误率的“上界”最小。而这个问题，有进一步的转化为求超平面法向量||w||的值最小的问题。好，今天就从这里开动。【线性可分问题 之 问题转化 之 凸二次规划】||w||表示向量w的“范数”，最常用的是二阶范数，怎么算呢？就是把向量w...
2012-08-29 22:32:00
121
初探:探索推荐引擎内部的秘密
csdn的排版我用的不熟，有些标题内容显示有问题，原文链接在这里http://www.cnblogs.com/shihao/archive/2011/09/07/2170415.html“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制，实现方法，其中还涉及一些基本的优化方法，例如聚类和分类的应用。同时在理 论讲解的基础上，还会结合 Apache Mahout ...
2012-08-29 13:31:00
89
构建OpenStack的高可用性（HA，High Availability）
1、CAP理论1） CAP 理论给出了3个基本要素：一致性 (Consistency) ：任何一个读操作总是能读取到之前完成的写操作结果；可用性 (Availability) ：每一个操作总是能够在确定的时间内返回；分区可容忍性 (Tolerance of networkPartition) ：在出现网络分区的情况下，仍然能够满足一致性和可用性； CAP 理...
2012-08-29 11:32:00
89
【svm学习笔记】svm_理论基础2
【线性可分问题 之 问题】先从最简单的情况说起，说线性可分问题。问题是这样的，至少可以想象是这样的：在二维空间中有一些点，分别属于两个不同的类别，如何在二维空间中找到这样一条直线，直线的一边是某一类别的点，直线的另一边是另一个类别的点？如果这样的直线存在多条，如何选择一条最“好”的直线？上面描述中，样本被描述成了二维空间的点；其实也可以是高维空间中的点，而一个向量来表征。类别，可以简单地用...
2012-08-29 00:48:00
77
【svm学习笔记】svm_基础理论1
【写在前面】这两天因为工程需要，用到svm，好奇之下，也自学一下，顺便记些笔记。理论部分，主要参考的是网友Jasper的网文《svm入门》系列，原帖子见http://www.blogjava.net/zhenandaci/MyPosts.html。既然人家都写了，为啥我还要写？不是写给别人看得，是写给自己的。主要是理清自己的思路，毕竟svm的理论这么深厚，稍不留神，就不知道“走”到哪儿...
2012-08-28 23:22:00
109
linux文件最大连接数问题---bash: ulimit: open files: cannot modify limit: Operation not permitted...
问题描述：登录系统报错，-bash: ulimit: open files: cannot modify limit: Operation not permittedLast login: Thu Aug 23 14:42:27 2012 from 10.6.90.41-bash: ulimit: open files: cannot modify limit: Operation n...
2012-08-28 07:48:00
4261
线性化很可怕，结果原来是这样的，尽量少用
abstract class Root { def hello(s: String)}class SubA extends Root { def hello(s: String) { println("Hello,SubA! " + s) }}trait D extends Root { abstract override def hello(s: String) { super.hello("t...
2012-08-27 17:39:00
143
11g密码过期问题
11g密码过期问题开发反映，应用帐号即将过期，提示修改密码，登录数据库查看用户状态为LOCKED(TIMED)sys@TYOLAP1(dtydb3)>select * from dba_profiles order by 1;PROFILE RESOURCE_NAME RESOURCE LIMIT------------------------------ ---------...
2012-08-27 16:42:00
78
storm 实战及实例讲解(一)
storm 实战及实例讲解一 ——应用场景分析，drpc服务器配置 ——by comaple 2012-08-27先给大家打打气，看看效果。这是taobao对外公布的storm使用情况，请大家欣赏，这是一个系列文章希望自己能够完成。给自己加油，写出来有利于日后查询同时也惠及他人。该storm入门教程将从搭建集群到如何编写storm上可以稳定运行的代码。本文不采用twitter官方文档里...
2012-08-27 16:02:00
232
trait中super调用动态绑定
class Root{ def hello(){ println("Hello,Root!") }}class SubA extends Root{ override def hello() { println("Hello,SubA!") }}trait D extends Root{ def traitHello(){ super.he...
2012-08-27 15:54:00
118
Nothing是任何类型的子类这个定义非常好。
有Nullable的功能，却比Nullable更方便。其实没有什么实际意义，只是在编码时需要一个能代表任何类型的“东西”，却又是一个“表示无意义的特殊含义”。到少在返回值类型的异常值是不用返回-1,-99,-9999这样硬编码的特殊值来表示一个异常值。...
2012-08-27 14:20:00
81
CentOS6.2下一步一步源代码安装OpenStack（十）Swift测试
创建endpointKeystone源码中的创建脚本中并不会创建swift的endpoint，因此还需要手动创建一个：keystone service-listkeystone endpoint-create --region RegionOne --service_id 00217d2721e94cee9f4c27c8c2f89f52 --publicurl 'http://10.61...
2012-08-27 12:49:00
117
Error:hbase.PleaseHoldException: Master is initializing
今天做了以下HBase的相关安装和配置，启动HBase没有问题，但是使用bin/hbase shell 命令转换到shell下时，使用比如命令，list.、create 'table','col' 等等都会出错，下面贴的是log里面的error部分：012-08-26 19:19:36,389 WARN org.apache.hadoop.hbase.master.AssignmentMana...
2012-08-26 20:35:00
83
Error:hbase.PleaseHoldException: Master is initializing
今天做了以下HBase的相关安装和配置，启动HBase没有问题，但是使用bin/hbase shell 命令转换到shell下时，使用比如命令，list.、create 'table','col' 等等都会出错，下面贴的是log里面的error部分：012-08-26 19:19:36,389 WARN org.apache.hadoop.hbase.master.AssignmentMana...
2012-08-26 20:35:00
86
[Hadoop源码解读]（五）MapReduce篇之Writable相关类
昨天出去玩了，今天继续。 前面讲了InputFormat，就顺便讲一下Writable的东西吧，本来应当是放在HDFS中的。 当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要进行反序列化。Writable是Hadoop的序列化格式，Hadoop定义了这样一个Writable接口。public interface...
2012-08-26 12:12:00
398
【重新上本科】再写main函数
现在各种框架能自动生成很多代码，不知道做客户端软件的程序员们，还有多少人需要自己写main函数。main函数的一种常见错误写法：void main () or void main (void)后一个还好些，c中函数如果没有参数的话，最好在声明函数原型的时候填进去一个void，明确表示没有参数。好习惯么。错误在于main函数本身是有返回值的，是int类型的值。原型如下：...
2012-08-26 11:56:00
81
【Q&A】stl容器去除重复的元素
经常会有这种情况，例如有几个不同来源的词表，先后放入到一个容器中（如vector中），要求去除容器中重复的词条。通常就是两步：1. 排序；2. 去除相邻的重复节点。对于2，我从前都是用文本编辑器（ultraedit）去重，没有用程序做过。现在写了下，主要是理解unique函数。关键代码如下：// 1. sort the itemssort (ItemVec.begin(), I...
2012-08-24 22:54:00
161
[Hadoop源码解读]（四）MapReduce篇之Counter相关类
当我们定义一个Counter时，我们首先要定义一枚举类型：public static enum MY_COUNTER{ CORRUPTED_DATA_COUNTER, NORMAL_DATA_COUNTER}; 然后，我们就可以在mapper或reducer里面增加它的值：context.getCounter(MY_COUNTER....
2012-08-24 17:35:00
304
【Q&A】getline读取行的行尾处理
windows和linux对文本文件的行尾有不同的约定。在windows系统中，行尾包含了两个字符，回车（carriage return, '\t'）和换行（line feed, '\n'）。这两个字符来自于从前的电传打字机，分别表示将写位置重新定位在首端，并跳转到下一行。在linux和unix、以及mac系统中，只保留了换行符，而没有回车符。这也是一些mac上的文本文件到windows系统上就无...
2012-08-24 16:26:00
467
Failed to fetch http://ppa.launchpad.net/shawn-p-huang/ppa/ubuntu/dists/oneiric/main/source/Sources
grep -ZErl "shawn-p-huang" /etc/apt/sources.list.d | sudo xargs -0 rmsudo apt-get updateW:Failed to fetch http://ppa.launchpad.net/shawn-p-huang/ppa/ubuntu/dists/oneiric/main/sourc...
2012-08-24 16:08:00
970
[Hadoop源码解读]（三）MapReduce篇之Job类
下面，我们只涉及MapReduce 1，而不涉及YARN。 当我们在写MapReduce程序的时候，通常，在main函数里，我们会像下面这样做。建立一个Job对象，设置它的JobName，然后配置输入输出路径，设置我们的Mapper类和Reducer类，设置InputFormat和正确的输出类型等等。然后我们会使用job.waitFor...
2012-08-24 15:40:00
372
byName的高阶函数与普通参数的区别
本质的区别就是执行期不同，普通参数的表达式传参时已经开始执行，而byName的高阶函数在方式执行体中按定义顺序执行，有可能被短路。def paramterMethod(b:Boolean){ if(false && b) println("hello")}paramterMetho(5 > 3)在传参时5 > 3一定已经运行，如果改成 1/0==0肯定抛出错误。...
2012-08-24 11:23:00
70
CentOS6.2下一步一步源代码安装OpenStack（九）Swift存储节点安装、配置及运行
软件安装Swift依赖以下软件python-setuptools,xinetd, xfsprogs, pip, greenlet, eventlet, Paste, PasteDeploy, simplejson, WebOb,xattr, netifaces。 python-setuptools, xinetd和xfsprogs可通过在线或我原来提供的光盘安装方法安装，后面几个除netifa...
2012-08-24 07:27:00
126
[Hadoop源码解读]（二）MapReduce篇之Mapper类
前面在讲InputFormat的时候，讲到了Mapper类是如何利用RecordReader来读取InputSplit中的K-V对的。 这一篇里，开始对Mapper.class的子类进行解读。 先回忆一下。Mapper有setup()，map()，cleanup()和run()四个方法。其中setup()一般是用来进行一些map()前的准备工作，map()则一般承担主要的处理工作，c...
2012-08-24 00:50:00
347
安装Cloudstack的部分总结
安装cloudstack有如下问题：1、DNS、内部 DNS都设置成8.8.8.8；2、接入的主机，是目标机器安装XenServer或者XCP的物理机，获取该机器的ip、用户名、密码，即可接入主机。3、安装nfs服务器。设置共享目录。 修改文件,，如下所示：在/home/share目录下新建两个目录：/home/share/primary；/home/shar...
2012-08-23 21:44:00
146
CentOS6.2下一步一步源代码安装OpenStack（八）Swift代理节点配置、运行
参考文档：http://docs.openstack.org/essex/openstack-object-storage/admin/content/最近几天一直在弄swift，总算是跑起来了，因此跟大家分享下，计划写三篇文章：swift代理节点配置、运行；swift存储节点安装、配置及运行；swift测试。这次安装共使用了四台服务器：一个代理节点（10.61.2.12，也是OpenStac...
2012-08-23 18:47:00
128
[Hadoop源码解读]（一）MapReduce篇之InputFormat
平时我们写MapReduce程序的时候，在设置输入格式的时候，总会调用形如job.setInputFormatClass(KeyValueTextInputFormat.class);来保证输入文件按照我们想要的格式被读取。所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat...
2012-08-23 17:20:00
319
Redhat6 数据源
[base]name=CentOS-$releasever-Basebaseurl=http://mirrors.163.com/centos/6.3/os/x86_64/gpgcheck=1gpgkey=http://mirrors.163.com/centos/RPM-GPG-KEY-CentOS-6#releasedupdates[updates]name=Cen...
2012-08-23 15:24:00
66
chef学习点滴
参考：http://williamherry.com/blog/2012/07/16/chef-basic/注册一个用户https://community.opscode.com/users/new管理界面https://manage.opscode.com/配置http://wiki.opscode.com/display/chef/Setup+Opscode+U...
2012-08-23 14:58:00
99
Xen Cloud Platform 系列：XenCenter 安装
一个人活在世上就是为了忍受一切摧残，想通了这点，任何事情都能泰然处之。--王小波 在上一篇中，已经详细介绍了如何安装CentOS5.1 系统，但启动虚拟机后，该如何去操作已经创建的虚拟机了。XenServer提供了XenCenter工具，能够方便快捷的管理虚拟平台，类似于XenServer 有开源的Xen Cloud Platform一样，XenCenter也有对应的开源工具，...
2012-08-23 14:43:00
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人