shursulei的博客

一、前期的准备 1、安装环境的准备 ip地址的配置等参考地点 2、查看centos的位数[root@CDHnode1 ~]# file /bin/ls/bin/ls: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32,

一、下载avro 创建maven项目(使用eclipse或者idea) <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3

错误一:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs原因是：缺少hadoop-hdfs的依赖包Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs ...

最近在使用centos编译安装hadoop2.5，但是需要安装protobuf。开始的时候不知道怎么解决，找了很多方法。终于找到了。 下载 https://pan.baidu.com/s/1kToPuGByum -y install gcc+ gcc-c++yum -y install maketar zxvf protobuf-2.4.1.tar.gzcd protobuf...

参考连接地址:https://blog.csdn.net/chinamcafee/article/details/47858567

解决关闭Hadoop时no namenode to stop异常下面是几种参考方式https://blog.csdn.net/gyqjn/article/details/50805472hadoop HA启动时 两个namenode节点都是standby分为安装的时候和正常启动中出现的问题。有问题看namenode的日志文件安装的过程中1、首先你要确定不用ha的时候你的hadoop集群...

Hadoop动态删除节点修改conf/hdfs-site.xml文件<property> 　　<name>dfs.hosts.exclude</name>　　<value>/usr/local/hadoop/conf/excludes</value> </property>dfs.hosts.exclude...

一、namenode的格式化报错bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. n$$15/12/04 04:52:50 WARN namenode.Na...

最近在安装和使用hadoop的时候，出现Name node is in safe mode.的问题，自己尝试了三种方式，最后只有第三种可以使用。原理第一种使用bash命令hdfs namenode --safemode enter##进入安全模式hdfs namenode --safemode leave ##离开安全模式hdfs namenode --safemode get ##...

一、前期准备工作 1、虚拟机的安装和red hat linux的安装(rhel-server-7.0-x86_64-dvd.iso),读者可自行安装。设置一个管理的账号(master),密码(hadoop) 2、静态ip的设置[master@node1 ~]$ [master@node1 ~]$ cat /etc/sysconfig/network-scripts/ifcfg-eno167777

最近自己在研究shell脚本实现hadoop,hive等脚本化安装，附图，有需要了解的可以联系我。可以私聊

一、HDFS的权限设置之acl分配官网参考地址：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Configuration_Parameters1、ACL权限和linux的权限是对应的​ hdfs dfs -getfacl -R /test...

首先：Hadoop从2.4.0版本开始支持hdfs的ACL官网参考hadoop2.6.5一、设置目录下的文件数量上限[root@node4 ~]# hdfs dfsadmin -setQuota 2 /ldata01[root@node4 ~]# hdfs dfs -mkdir /ldata01/test2mkdir: The NameSpace quota (directories a...

最近在配置hadoop的kms，网上找了好多文档，最后发现，就是官网和一篇文档写的比较详细。因为差不多，自己就懒得再去写，等有机会在做。http://www.qedev.com/bigdata/732.htmlhttps://www.2cto.com/kf/201708/663678.htmlhttps://www.itcodemonkey.com/article/5738.html...

最近在研究hdfs的回滚升级，包括版本升级，数据快照备份等内容。版本升级分为为非HA的，HA的版本升级以及联合升级我这次是2.6.5的版本升级到2.9.2首先，先备份最新的dfs.namenode.name.dir下的镜像和编辑日志文件，防止意外；中间本人参考了网上资料，包括官网的，csdn上的官网上比较详细，个人推荐。但是上面csdn的一篇可以帮助是实战，但是部分没有讲述详细。#首先此...

一、启动zookpeer,hdfs. 二、解压配置flume 配置环境变量:export JAVA_HOME=/usr/java/jdk1.7.0_79export HBASE_HOME=/home/hbase-1.1.3export HIVE_HOME=/home/apache-hive-1.2.1-binexport PATH=$PATH:$JAVA_HOME/bin:$HBA...

1、centos7使用yum安装Redis时，可能会有安装源的问题出现。安装epel源，CentOS默认的安装源在官方的centos.org上，而redis在第三方的yum源里，因此无法安装。这就是我们常常在yum源里找不到各种软件的原因，还需要自己去wget，然后configure,make,make install，这个过程太痛苦了，并且卸载软件的时候还容易出错。 2、非官方的yum推荐用f...

1、首先查看hbase: 进入官网 http://hbase.apache.org/ 进入官网 http://hbase.apache.org/book.html#architecture 找到如下的位置 2、hive我们如何查看兼容信息，还是我们首先进入官网 http://hive.apache.org/ 关于兼容性参考链接

push:进；pop为出 栈：先进后出；队列：先进先出判断一个序列 是不栈的输出判断一个序列 题目描述：输入两个整数序列。其中一个序列表示栈的push顺序，判断另一个序列有没有可能是对应的pop顺序。为了简单起见，我们假设push序列的任意两个整数都是不相等的。比如输入的push序列是1、2、3、4、5、6、7，那么2、1、4、3、7、6、5就有可能是一个pop系列。但序列4、3、5、1、2、

一、课程预备知识：Linux常用命令；java编程基础 二、Hadoop前世今生 Google 大数据技术 MapReduce、BigTable、GFS Hadoop模仿Google大数据技术 三、Hadoop的功能和优势 1. Hadoop的定义：开源的分布式储存和分布式计算平台 HDFS：分布式文件系统，存储海量的数据 MapReduce:并行处理框架，实现任务分解和调度

Connecting to 192.168.146.189:22… Could not connect to ‘192.168.146.189’ (port 22): Connection failed. 解决方法：虚拟网络编辑器-还原默认(修改IP和地址的前3个相同)

原因是权限不够，需要修改权限[root@cdhhadoop data]# sudo chmod -R a+w /opt/data回到用户下执行命令，即可完成 转载 点击

FATAL ha.ZKFailoverController: Unable to start failover controller. Unable to connect to ZooKeeper quorum at node1:2181,node2:2181,node3:2181. Please check the configured value for ha.zookeeper.quorum

安装HBase（本地模式和集群模式）一、本地模式的安装 - 解压并移到指定的文件夹[root@node1 software]# mv hbase-1.1.3 /home/配置hbase-env.sh文件export JAVA_HOME=/usr/java/jdk1.7.0_79配置hbase-site.xml文件<configuration><property> <name

查看mysql是否安装[root@node1 lib]# rpm -qa |grep mysqlmysql-libs-5.1.71-1.el6.x86_64安装[root@node1 ~]# yum -y install mysql-server检查[root@node1 ~]# rpm -qa |grep mysqlmysql-libs-5.1.73-8.e...

本地derby和mysql模式的安装(远端模式的安装)一、本地derby模式的安装解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz [root@node1 software]# mv apache-hive-1.2.1-bin /home清空配置文件，配置hive-site.xml文件[root@node1 conf]...

mapreduce和yarn的安装yarn-site.xml文件的配置<configuration><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>##<property> <name>yarn.re

开始安装hadoop

一.环境的准备1.date时间同步二.

MR执行环境有两种：本地测试环境，服务器环境本地测试环境(windows)： 在windows的hadoop目录bin目录有一个winutils.exe 1、在windows下配置hadoop的环境变量 2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin 3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib

推荐深入研究学习的参考博客： 大数据入门基础系列之Hadoop文件的序列化，为什么不用Java的序列化 一、序列化 1.将对象转换为二进制的字节流并写入到输出流out中是序列化，write 的过程（最好记!!!） 2.从输入流in中读取二进制的字节流反序列化为对象是反序列化，readFields的过程（最好记!!!） 3、java序列化和hadoop序列化的区别 （1）Hadoop的序

vm复制后出现的问题。mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etcsysconfig/network-scripts/ifcfg-eth1cat /etc/udev/rules.d/70-persistent-net.rules将其中的eth1的mac地址记录下来vi /etcsysconfig/network-scripts/ifcfg