Hadoop
深思千年
这个作者很懒,什么都没留下…
展开
-
Hadoop最基本的wordcount(统计词频)
Hadoop最基础的例子原创 2013-07-07 19:59:55 · 5540 阅读 · 0 评论 -
hadoop文件系统权限简介
hadoop文件系统实现的文件权限模型和posix模型极其类似。每个文件和目录和一个owner和group相关联。可以使用下面的命令来查看/tmp/目录下的所有文件及其权限:xuqiang@ubuntu:~/hadoop/src/hadoop-0.21.0$ ./bin/hadoop fs -ls /tmp/11/05/10 06:42:56 INFO security.Groups:转载 2013-07-07 20:13:27 · 2444 阅读 · 0 评论 -
在Ubuntu Desktop打开终端的2种方式
共有3中方法:1.在Ubuntu左上角选择File/Open in Terminal2.快捷键alt+F2调出Run a Command,输入gnome-terminal 添加右键支持在终端,输入install nautilus-open-terminal,安装右键支持,这样在桌面或文件夹中空白处点击鼠标右键则出来进入终端的快捷方式,以后用这种方法简单 PS:其中第3种原创 2013-06-23 11:20:12 · 4724 阅读 · 0 评论 -
SecureCRT用rz命令上传不了
SecureCRT用rz命令上传不了,头疼啊!网上没找到答案,仔细想了想才明白原因:权限不够解决方法:把rz换成sudo rz原创 2013-06-23 20:56:46 · 12161 阅读 · 1 评论 -
Hadoop单机模式
hadoop版本:hadoop-2.0.0-cdh4.2.0.tar进入hadoop目录,打开etc目录下到hadoop-env.sh,添加以下信息:#author ylchou#2013-06-23export JAVA_HOME=/usr/local/bin/jdk1.6.0_43(视你机器的java安装路径而定)export HADOOP_HOME=/usr/local/原创 2013-06-23 23:19:42 · 1056 阅读 · 0 评论 -
Ubuntu下安装JDK1.6,并将之设为默认的JDK
1.在Windows系统下下载Liunx 版本JDK,我下的是jdk-6u43-linux-i586.bin2.通过secureCRT上传JDK到Ubuntu3.手动安装JDK(我安装到了/usr/local/bin/jdk1.6.0_43下):先修改权限 sudo chmod u+x jdk-6u43-linux-i586.bin安装 sudo -s ./jdk-6u43-li原创 2013-06-23 21:57:43 · 5205 阅读 · 1 评论 -
配置SSH免密码登陆
我的用户名是master1.安装ssh(若没安装的话)sudo apt-get install ssh 2.配置为可以免密码登陆本机。2.1查看在master用户下是否存在.ssh文件夹(ssh前面有.的是隐藏文件夹),输入命令ls -a /home/master。我的没有,所以新建个mkdir /home/master/.ssh2.2生成私钥和公钥:ssh-keygen原创 2013-06-23 22:36:07 · 21453 阅读 · 1 评论 -
Spark:大数据的“电光石火”
http://www.csdn.net/article/2013-07-08/2816149转载 2013-07-12 01:34:40 · 944 阅读 · 0 评论