冰河的专栏

持之以恒,贵在坚持,每天进步一点点。。。

Hadoop之——crontab 定时运行 hadoop 任务(以Hadoop用户身份运行crontab报错)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95964457 问题: 在/etc/crontab 里添加任务,想以hadoop 用户去执行这个脚本。 */5 * * * * hadoop /bin/sh /home/h...

2019-07-15 14:28:42

阅读数 19

评论数 8

Hadoop之——Permission denied error 13 - Python on Hadoop

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95932591 问题: 在Hadoop中运行Python程序,命令行输入如下命令: -bash-4.1$ hadoop jar /usr/local/hadoop-3.2....

2019-07-14 22:14:13

阅读数 10

评论数 0

Hadoop之——基于3台服务器搭建Hadoop3.x集群(实测完整版)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93892479 一、 服务器规划 二、Hadoop集群环境的准备 搭建Hadoop集群环境之前,需要为搭建Hadoop集群环境做一些相关的准备工作,以达到正确安装Hado...

2019-07-14 08:37:52

阅读数 62

评论数 0

Hadoop之——实现全排序

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95603288 一般方法: 有一种方式可以实现Hadoop的全排序,那就是将多个Map阶段输出的排序中间结果全部输入到一个Reducer类中,这种方式的并行度不高,性能瓶颈也比...

2019-07-12 12:46:50

阅读数 15

评论数 1

Hadoop之——Hadoop3.0前后命令对比

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95450246 启动命令变化对比总结如下: Hadoop 3.0以前版本的命令 Hadoop 3.0之后版本的命令 启动进程:...

2019-07-11 09:52:55

阅读数 29

评论数 0

Hadoop之——setfacl 设置访问控制列表异常

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/94992969 默认情况下,在命令行执行Hadoop的设置访问控制列表时,出现异常,具体异常信息如下: setfacl: The ACL operation has been...

2019-07-07 15:11:40

阅读数 49

评论数 1

Hadoop之——HDFS容错

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/94721335 HDFS的容错能力大概可以分为两个方面:文件系统的容错性以及Hadoop本身的容错能力。 文件系统的容错性 心跳机制,在Namenode和Datanode之间...

2019-07-05 10:58:26

阅读数 31

评论数 1

Google大数据之——三篇著名论文中文版

Google File System中文版Google Bigtable中文版Google MapReduce中文版

2019-07-02 09:01:49

阅读数 67

评论数 0

Hadoop之——Hadoop3.x集群动态增加和删除DataNode与NodeManager节点

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/94164259 本文是在《Hadoop之——基于3台服务器搭建Hadoop3.x集群(实测完整版)》博文的基础上进行操作的,在原有Hadoop集群的基础上动态增加并删除“bing...

2019-06-29 15:44:19

阅读数 79

评论数 0

Hadoop之——Hadoop目录结构说明

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93927081 首先,使用命令“ls”查看Hadoop 3.2.0下面的目录,如下所示: -bash-4.1$ ls bin etc include lib libe...

2019-06-27 23:31:20

阅读数 56

评论数 0

Hadoop之——Hadoop3.x运行自带的WordCount报错Container exited with a non-zero exit code 1.

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93750832 问题: 今天,基于Hadoop3.2.0搭建了Hadoop集群,对NameNode和Yarn做了HA,但是在运行Hadoop自带的WordCount程序时报错了...

2019-06-26 16:56:11

阅读数 119

评论数 0

Hadoop之——hadoop 3.x Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93385195 报错信息: 在Hadoop3.x上执行MapReduce程序时,报出如下错误: [2019-06-23 16:10:35.016]Container exi...

2019-06-23 16:16:22

阅读数 88

评论数 0

Hadoop之——Hadoop3.x端口变动

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93382245 Hadoop3.x相较于之前的版本来说,在端口的设置上发生了一些变化,先就这些端口变化总结如下: Namenode ports: 50470 --&gt...

2019-06-23 15:30:52

阅读数 50

评论数 0

Hadoop之——Linux下sudo命令报错:hadoop is not in the sudoers file. This incident will be reported.

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93380235 当在终端执行sudo命令时,系统提示“cuser is not in the sudoers file”: 具体报错信息为: -bash-4.1$ sudo...

2019-06-23 13:13:05

阅读数 87

评论数 0

Hadoop之——以root身份启动Hadoop3.x报错

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93380017 1、使用root配置的hadoop并启动会出现报错 错误: Starting namenodes on [master] ERROR: Attempting...

2019-06-23 12:39:57

阅读数 97

评论数 0

Hadoop之——配置文件的作用

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/93378525 1.hadoop-env.sh 主要用来配置Hadoop JDK export JAVA_HOME=/usr/local/jdk1.8.0_212 2.c...

2019-06-23 10:29:27

阅读数 52

评论数 0

Hadoop之——Hadoop 2.X新特性回收站功能

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/92443165 开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 1.回收站参数设置及工作机制 2.启用回收站 修改core-...

2019-06-16 23:55:43

阅读数 38

评论数 0

HBase之——脚本编程

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88817432 在HBase上进行脚本编程 比如:创建包含两个列族、两个列的表,并插入一些数据,脚本如下: vim hbasescript.script create 't...

2019-03-26 12:52:45

阅读数 83

评论数 0

HBase之——备份与恢复技术

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88817298 总体来说,HBase的备份分为两类,可以根据不同的需求选择不同的备份方法: 离线备份/full-shutdown备份 使用hadoop distcp命令 在线...

2019-03-26 12:45:42

阅读数 82

评论数 0

Hbase之——命令篇

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/88745274 进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keyta...

2019-03-22 17:04:08

阅读数 66

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭