- 博客(14)
- 收藏
- 关注
RSS订阅转载 Hadoop的安全模式
NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式
2013-10-31 10:33:36
721
转载 hadoop 创建用户及hdfs权限，hdfs操作等常用shell命令
原文：http://blog.csdn.net/larrylgq/article/details/7580488 sudo addgroup hadoop#添加一个hadoop组 sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组 sudo gedit etc/sudoers#将hadoop组加入到sudoer 在root ALL=(ALL) A
2013-10-31 10:07:31
27016
转载 hdfs命令操作
转载自：http://www.dreamflier.net/blog/user1/3/2405.html 查看 hadoop fs 建目录 hadoop fs -mkdir /user/cloud/test 列当前目录 hadoop fs -ls 列根目录 hadoop fs -ls / 循环列目录 hadoop fs -lsr / 上传到
2013-10-31 09:57:17
918
转载 Hadoop操作HDFS命令
转载自：http://www.juziku.com/sunlightcs/wiki/6017.htm hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs
2013-10-31 09:49:47
861
原创 Hadoop虚拟集群的搭建
主要参考： 1. http://blog.csdn.net/bluetropic/article/details/9335675 2. http://blog.csdn.net/hguisu/article/details/7237395 一、环境介绍: 2个节点的虚拟机VMware，Ubuntu12.04 二、修改机器名 sudo vi /etc/hostname
2013-10-30 21:31:18
1026
原创 终于配好Hadoop
经过5天的奋战，终于在两个节点的虚拟机上配好了Hadoop分布式环境，mark一下。 主要是由于自己技术底子不好，以前没用过Linux，也不搞开发，家里电脑出问题了一般都是老公出面搞定的，哎…… 接下来是更为艰巨的，算法并行化设计，以及分布式环境下的程序调试。 对于技术盲大妈来说，真的是伤不起啊。
2013-10-30 16:39:33
1171
1
转载 Ubuntu 查看和杀死进程
查看进程: 1,ps -ef 命令 2,sudo netstat -antup Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program nam
2013-10-30 16:10:30
756
转载 Hadoop 常见问题总结
出现问题以后先查看日志，以下是常见的错误情况 1 地址占用 org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use 查找被占用的端口号对应的PID : netstat -tunl pkill -9 PID实在不行就killall -9 java 2 s
2013-10-29 16:38:11
918
转载 在 Ubuntu Linux 下搜索文件和文件内容
whereis 查找软件的安装路径 -b 只查找二进制文件 -m 只查找帮助文件 -s 只查找源代码 -u 排除指定类型文件 -f 只显示文件名 -B 在指定目录下查找二进制文件 -M 在指定目录下查找帮助文件 -S 在指定目录下查找源代码 locate 在文件索引数据库中搜索文件 -d 搜索指定数据库 updatedb更新文件索引数据库 find
2013-10-29 16:18:12
1619
转载 Ubuntu上安装JDK
Step1.首先到Oracle官網上下載，最新版的"jdk-7u45-linux-x64.tar.gz" or "jdk-7u45-linux-i586.tar.gz" (事先建立一名为java的資料夾，下載的東西都可放這裡面集中。) Step2.將下載下來的JDK檔進行解壓縮，指令：tar -zxvf jdk-7u45-linux-i586.tar.gz Step3.複製解壓縮後的資料
2013-10-28 20:47:54
1471
转载 ubuntu如何完全卸载Java
1、 移除所有 Java相关包 (Sun, Oracle, OpenJDK, IcedTea plugins, GIJ): (1) apt-get update (2) apt-cache search java | awk '{print($1)}' | grep -E -e '^(ia32-)?(sun|oracle)-java' -e '^openjdk-' -e '^icedtea
2013-10-28 20:42:05
34143
2
原创 Ubuntu命令行下载JDK
1. 用Google chrome浏览器打开Oracle的JDK下载页面http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2. 接受协议 3. 选择需要的版本，点击，开始下载 4. 查看"downloads"，暂停下载任务，复制下载URL 5. 回Ubuntu命令行，执行：
2013-10-28 20:23:13
11673
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人