hadoop
大龄下岗程序员
大龄下岗程序员,将毕生绝学,经验,技巧,职场套路,毫无保留全部分享
展开
-
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
1)NameNode、DataNode和ClientNameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。DataNode是文件存储的基本单元,它将Block存储在原创 2015-03-31 12:40:47 · 2689 阅读 · 0 评论 -
su: incorrect password
在使用普通用户登录的状态下使用su (su -)命令 切换到root用户时提示:su: incorrect password,但是直接使用root用户和密码可以登录操作系统。解决方案:可能跟su这个执行文件的属性有关。The permissions should be "-rwsr-xr-x"而自己的系统中su 的属性为 "-rwxr-xr-x"也就是说,s原创 2015-04-07 09:50:01 · 2712 阅读 · 0 评论 -
ssh连接linux服务器只显示-bash-4.1#
在linux shell中不显示路径了,显示为-bash-4.1#用起来很不方便。如何改为显示路径的shell呢?步骤如下:vim ~/.bash_profile(不用管.bash_profile这个文件有几个,自己新建一个也是可以的)在最后加上export PS1='[\u@\h \W]\$'然后执行source ~/.bash_profile这样shell就可以显示路径了。注:如果出现退出重新登录,又不显示了,此时需要在两个用户中都安照以上步骤进行修改即可。原创 2015-04-07 09:55:23 · 2508 阅读 · 0 评论 -
shell判断文件是否存在
#!/bin/sh myFile="/var /log/httpd/access.log" if [ ! -e "$myFile" ]; then touch "$myFile" fi -e和-f的区别是,-f代表常规文件(regular file),-e代表所有任何类型文件参考如下:-e filename 如果 filename存在,则为真-d filena转载 2015-04-20 09:29:13 · 6020 阅读 · 0 评论 -
Hadoop的核心思想
Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不下这些数据吗?事实上,确实装不下。比如,很多的电信通话记录就存储在很多台服务器的很多硬盘中。那么,要处理这么多数据,必须从一台一台服务器分别读取数据和写入数据,太麻烦了!我们希望有一种文件系统,可转载 2015-04-29 21:29:31 · 574 阅读 · 0 评论 -
HDFS 异常
HDFS 异常HTTP ERROR 500Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode.The reported blocks 0 needs additional 10 blocks to reach th原创 2015-04-28 09:04:27 · 1336 阅读 · 1 评论