2013年03月_Francis-Yu

10月 09月 07月 06月 05月 04月 03月 01月

原创 Hadoop shell 命令使用

hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunli

2013-03-29 23:14:16 1166

原创 Hadoop Shell命令｜HDFS Shell命令｜ HDFS 命令

Hadoop Shell命令FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstattailtesttexttouchzFS Shell调用文件系统(FS)Shell命

2013-03-29 22:49:42 1078

原创 Simple-Spring-memcached

memcached是一款非常优秀的分布式缓存工具，有效提升了按主键检索数据的性能问题。而simple-spring-memcached组件通过与 spring框架整合，让memcached的调用变得更加简单。simple-spring-memcached本质上是采用了AOP的方式来实现缓存的调用和管理，其核心组件声明了一些Advice，当遇到相应的切入点时，会执行这些Advice来对me

2013-03-29 15:53:27 1058

原创回顾MySpace架构的坎坷之路

说起MySpace，可能很多人对他印象很深，MySpace.com成立于2003年9月，是目前全球最大的社交网站。它为全球用户提供了一个集交友、个人信息分享、即时通讯等多种功能于一体的互动平台，同时他也是.NET应用最出色的网站之一。下面我们一起来回顾一下MySpace架构的改革之路，或许我们能从中得到一点点架构方面的经验和教训。1、50万用户最早myspace网站由一台数据库服务

2013-03-26 13:41:26 891

原创优酷网架构

记得以前给大家介绍过视频网站龙头老大YouTube的技术架构，相信大家看了都会有不少的感触，互联网就是这么一个神奇的东西。今天我突然想到，优酷网在国内也算是视频网站的老大了，不知道他的架构相对于YouTube是怎么样的，于是带着这个好奇心去网上找了优酷网架构的各方面资料，虽然谈得没有YouTube那么详细，但多少还是挖掘了一点，现在总结一下，希望对喜欢架构的朋友有所帮助。一、网站基本数据概

2013-03-26 09:00:48 1441

原创 mapreduce eclipse

mapreduce之于eclipse环境搭建好了之后，就可以尝试运行一个例子了，这里我还是从入门及的WordCount跑跑看看。WordCount的例子位于Hadoop的安装目录这里我简化为${HADOOP_HOME}下src/examples/org/apache/hadoop/examples的WordCount.java文件。首先在eclipse中new 一个mapreduce proj

2013-03-24 10:27:34 1049

原创 Hadoop常见问题汇总

1.在show view下mapreduce的location中，新建location后，在DFS Location中出现了org.apache.hadoop.security.accesscontrolexception permission denied user= mapred access=write ........ 首先检查你配置DFS Location的时候运行的user

2013-03-24 00:54:32 2889 1

原创 linux shell-----case statement

The case StatementThe case statement is good alternative to Multilevel if-then-else-fi statement. It enable you to match several values against one variable. Its easier to read and write.Synta

2013-03-17 14:45:32 934

原创 linux shell ----while Loop

Syntax: while [ condition ] do command1 command2 command3 .. .... Loop is exec

2013-03-17 14:37:08 891

原创 linux shell----for Loop

for LoopSyntax: for { variable name } in { list } do execute one for each item in the list until the list is not finished (An

2013-03-17 13:59:24 4213

原创 linux shell ---if...else...fi

if.....else.....fiIf given condition is true then command1 is executed otherwise command2 is executed.Syntax: if condition then condition is zer

2013-03-17 12:30:19 6446

原创 linux shell ----test commond or [expr]

test command or [ expr ] is used to see if an expression is true, and if it is true it return zero(0), otherwise returns nonzero for falseSyntax: test expression OR [ expression ]eg.# Sc

2013-03-17 12:09:17 1207

原创 linux shell---if condition

Syntax: if condition then command1 if condition is true or if exit status of condition is 0 (zero) ... ... fi

2013-03-17 11:52:56 1840

原创 CPU的理解

目前世界上最常见的主要CPU种类为：精简指令集（Reduced Instruction Set computing，RISC）和复杂指令集（Complex Instruction Set computing ，CISC）1.精简指令集这种cpu设计中，微指令较为精简，每个指令运行的时间都很短，完成的动作也很单纯，指令执行的效能较佳；但若要做复杂的事情，就要多个指令来完成。

2013-03-12 17:00:45 987