hadoop
文章平均质量分 71
奔走觅衣粮
活到老学到老。
展开
-
【大数据学习】之hdfs hadoop-2.6.0-cdh5.7.0部署(hadoop用户)
1.添加sudo权限的无密码访问的hadoop用户(1)[root@hadoop001 ~]# useradd hadoop(2)跟着修改/etc/sudoers文件, vi /etc/sudoers 用命令cat /etc/sudoers |grep hadoop 查看一下结果 (3)切换用户:su - ha...原创 2018-09-26 00:17:16 · 846 阅读 · 0 评论 -
【大数据学习】之YARN伪分布式部署
1、先进入 etc/hadoop2、ll查看一下该目录有什么文件,由于没有mapred-site.xml文件,所以需要从其它文件复制一份,同时重命名为mapred-site.xml,cp mapred-site.xml.template mapred-site.xml3、修改mapred-site.xml,在里面添加下面内容<configuration>...原创 2018-09-27 22:15:35 · 207 阅读 · 0 评论 -
【大数据学习】之MapReduce Job
1)、先把yarn服务停了[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/stop-yarn.sh2)、把之前的信息删了[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -rm -r -f /user3)、再创建hdfs的文件bin/hdfs dfs -mkdir /userbin/h...原创 2018-09-29 00:05:35 · 189 阅读 · 0 评论 -
【大数据学习】之hdfs垃圾回收站配置
我们知道linux是没有垃圾回收站的,而hdfs同样默认是没有的,但是hdfs是可以开启垃圾回收站的。1、我们可以登录官网,选2.8.5版本, https://hadoop.apache.org/docs/r2.8.5/ 拉到页面最下面点击core-default.xml2、然后在页面按ctrl + F 全局搜索"trash",找到fs.trash.interval和fs.trash...原创 2018-10-16 00:25:40 · 2531 阅读 · 0 评论