![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
DarryRingLW
学生,有志
展开
-
centos sbt 安装
1.随便新建一个目录 vim sbt 2.在文件里编辑如下内容: BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar /home/spark/sbt-launcher-packaging-0.13.13/bin/sbt-launc原创 2017-02-20 18:10:28 · 2378 阅读 · 0 评论 -
centos7 最小化安装后再装上界面
yum grouplist -- 查看支持的图形界面, 有Minimal Install(最小安装是没有桌面的)、GNOME Desktop、KDE Plasma Workspaces等 yum groupinstall "X Window System" -- 安装图形组件 yum groupinstall "GNOME Desktop" --安装界面(我选择安装GNOME,还可以安装KDE原创 2017-02-16 11:44:38 · 3389 阅读 · 0 评论 -
为普通用户添加root权限
在使用Linux系统过程中,通常情况下,我们都会使用普通用户进行日常操作,而root用户只有在权限分配及系统设置时才会使用,而root用户的密码也不可能公开。普通用户执行到系统程序时,需要临时提升权限,sudo就是我们常用的命令,仅需要输入当前用户密码,便可以完成权限的临时提升。在使用sudo命令的过程中,我们经常会遇到当前用户不在sudoers文件中的提示信息,如果解决该问题呢?通过下面几个步骤转载 2016-12-31 10:53:10 · 11634 阅读 · 0 评论 -
hadoop分布式环境搭建
1.克隆虚拟机后,要修改虚拟机名字及ip地址,mac地址 方法: vi /etc/sysconfig/network-scripts/ifcfg-eth0 重启网络服务: service network restart 查看: ifconfig 里面有相关信息原创 2016-11-20 12:46:45 · 388 阅读 · 0 评论 -
hadoop namenode工作机制
转自:http://blog.csdn.net/u010846741/article/details/52369527 Hadoop 集群中有两种节点,一种是namenode,还有一种是datanode。 其中datanode主要负责数据的存储,namenode主要负责三个功能,分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下,元转载 2016-11-05 09:20:49 · 2056 阅读 · 0 评论 -
/tmp/hadoop-hadoop-datanode.pid: Permission denied
今天终于要把分布式的集群搭建完毕啦,就在我与成功差之毫厘的时候,执行sbin/stop-all.sh 命令并不能把datanode关闭掉,无奈只能强制Kill掉 ,错误显示/tmp/hadoop-hadoop-datanode.pid: Permission denied 在网上搜索了好多办法有的说给tmp目录777权限,我没有成功,终于找到一个办法就是修改hadoop-env.sh文件原创 2016-11-01 15:57:45 · 6499 阅读 · 1 评论 -
jar 包运行 依赖第三方jar包
在hadoop平台上写了一个mapreduce程序,jar包运行时总是报NoClassDefFoundError错误,我是通过maven方式导入的jar包。解决办法:将maoreduce程序打成的jar包里新建一个lib文件夹,里面放上需要的第三方jar包,再运行即可...原创 2018-03-04 15:30:27 · 1384 阅读 · 0 评论 -
jar 包运行 资源路径问题
如果使用代码FileReader reader = new FileReader("debora_0_column_30.arff"); jar包运行时会报找不到文件的错误,原因是打成jar包后根目录变了。jar包后 根目录变成了jar包所在的目录 所以要想找到上述文件,需要将上述文件放在jar包的同目录下...原创 2018-03-04 16:41:29 · 1419 阅读 · 0 评论