自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 hadoop-企业版环境搭建(五)-安装Hive

本地derby和mysql模式的安装(远端模式的安装) 一、本地derby模式的安装 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz [root@node1 software]# mv apache-hive-1.2.1-bin /hom...

2017-10-07 19:06:54

阅读数 265

评论数 0

原创 hadoop-企业版环境搭建(四)-安装HBase

安装HBase(本地模式和集群模式)一、本地模式的安装 - 解压并移到指定的文件夹[root@node1 software]# mv hbase-1.1.3 /home/ 配置hbase-env.sh文件 export JAVA_HOME=/usr/java/jdk1.7.0_79 配置h...

2017-10-07 13:55:43

阅读数 297

评论数 0

原创 hadoop-企业版环境搭建(三)-mapreduce和yarn的安装

mapreduce和yarn的安装 yarn-site.xml文件的配置 <configuration> <property> <name>yarn.nodemanager.aux-services</name> &l...

2017-10-07 11:53:21

阅读数 167

评论数 0

原创 hadoop-企业版环境搭建(二)-HA搭建和zookpeer集群的搭建

开始安装hadoop

2017-10-06 18:48:58

阅读数 343

评论数 0

原创 hadoop-企业版环境搭建(一)-环境搭建和hadoop基本配置

一.环境的准备 1.date时间同步 二.

2017-10-06 13:27:02

阅读数 529

评论数 0

转载 LDAPException size limit exceeded

转载,但是非常有用 转载连接 java Error:LDAPException:Sizelimit Exceeded Sizelimit

2019-10-31 17:26:00

阅读数 136

评论数 0

转载 hadoop的kms结合acl配置

最近在配置hadoop的kms,网上找了好多文档,最后发现,就是官网和一篇文档写的比较详细。因为差不多,自己就懒得再去写,等有机会在做。 http://www.qedev.com/bigdata/732.html https://www.2cto.com/kf/201708/663678.html...

2019-05-09 15:06:57

阅读数 99

评论数 0

原创 HDFS Rolling Upgrade-HA回滚升级

最近在研究hdfs的回滚升级,包括版本升级,数据快照备份等内容。版本升级分为为非HA的,HA的版本升级以及联合升级 我这次是2.6.5的版本升级到2.9.2 首先,先备份最新的dfs.namenode.name.dir下的镜像和编辑日志文件,防止意外; 中间本人参考了网上资料,包括官网的,csdn...

2019-05-07 16:55:13

阅读数 42

评论数 0

转载 HDFS的目录文件的大小的数量的控制

首先:Hadoop从2.4.0版本开始支持hdfs的ACL 官网参考hadoop2.6.5 一、设置目录下的文件数量上限 [root@node4 ~]# hdfs dfsadmin -setQuota 2 /ldata01 [root@node4 ~]# hdfs dfs -mkdir /ldat...

2019-05-06 14:30:58

阅读数 891

评论数 0

原创 HDFS的acl和linux的acl机制

一、HDFS的权限设置之acl分配 官网参考地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Configuration_Parameters 1、A...

2019-05-05 20:55:18

阅读数 57

评论数 0

原创 shell脚本化实现hadoop集群安装

最近自己在研究shell脚本实现hadoop,hive等脚本化安装,附图,有需要了解的可以联系我。可以私聊

2019-04-29 15:19:52

阅读数 48

评论数 0

转载 hadoop单节点转HA搭建过程中出现的问题总结篇(二)

一、namenode的格式化报错 bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for ...

2019-04-16 15:55:34

阅读数 78

评论数 0

原创 hadoop动态删除节点

Hadoop动态删除节点 修改conf/hdfs-site.xml文件 <property>   <name>dfs.hosts.exclude</name>   <value>/usr/local/hadoop/conf/excludes&l...

2019-04-11 23:01:28

阅读数 104

评论数 0

原创 hadoop单节点转HA搭建过程中出现的问题总结篇(一)

解决关闭Hadoop时no namenode to stop异常 下面是几种参考方式 https://blog.csdn.net/gyqjn/article/details/50805472 hadoop HA启动时 两个namenode节点都是standby 分为安装的时候和正常启动中出现的问题...

2019-04-11 20:53:03

阅读数 74

评论数 0

原创 hdfs的Name node is in safe mode报错

最近在安装和使用hadoop的时候,出现Name node is in safe mode.的问题,自己尝试了三种方式,最后只有第三种可以使用。 原理 第一种使用bash命令 hdfs namenode --safemode enter##进入安全模式 hdfs namenode --safemo...

2019-04-10 10:01:48

阅读数 32

评论数 0

转载 Matplotlib is building the font cache using fc-list. This may take a moment解决办法

Matplotlib is building the font cache using fc-list. This may take a moment解决办法. 此文章参考:https://blog.csdn.net/qq_36346262/article/details/79366266

2019-03-26 10:01:57

阅读数 69

评论数 0

转载 本地项目上传到github 报错“master -> master (non-fast-forward)”

本地项目上传到github 报错“master -&gt; master (non-fast-forward)” 参考博客 https://www.cnblogs.com/qwangxiao/p/7365608.html

2019-03-12 11:41:23

阅读数 37

评论数 0

转载 idea热部署web项目-结合tomact

最近使用idea阅读一些源码,但是idea的使用熟练度有些问题。网上找了很多的博客和资料,但是都是写的不是很完整。我推荐一个博主写的文章,对我起了很大的帮助。参考地址 ...

2019-02-28 10:47:48

阅读数 90

评论数 0

原创 最近开发中遇到关闭子页面,父页面刷新的问题

网上有很多的都是关闭子窗口,父页面刷新的问题。 我需要处理的场景是。三个界面。 解决办法: &lt;script&gt; function refreshParent() { window.opener.location.href = window.opener.locat...

2018-11-24 17:54:36

阅读数 152

评论数 0

原创 mongod官网以前的版本

因为官网只显示最近的压缩包,所以找了这个网站 http://dl.mongodb.org/dl/linux/x86_64 http://dl.mongodb.org/dl/win32/x86_64

2018-11-10 13:03:51

阅读数 91

评论数 0

转载 web.xml问题

web项目web.xml编译错误: schema_reference.4: Failed to read schema document ‘http://java.sun.com/xml/ns/j2ee/web-app_2_5.xsd’, because 1) could not find th...

2018-11-09 17:39:00

阅读数 80

评论数 0

原创 load-on-startup的作用

load-on-startup的作用 1.load-on-startup元素标记容器是否在启动的时候就加载这个servlet(实例化并调用其init()方法) 2.它的必须是一个整数,表示servlet应该被载入的顺序 3.当值为0或者大于0时,表示容器在应用启动时就加载并初始化这个servlet...

2018-11-09 09:55:11

阅读数 70

评论数 0

原创 使用python导出数据库的所有数据表的数据结构、字段、备注、数据类型

数据库表转excel表 # -*- coding=utf-8 -*- from imp import reload import xlwt import MySQLdb import warnings import datetime warnings.filterwarnings(&quo...

2018-08-28 09:36:07

阅读数 1705

评论数 0

原创 Navicat导出指定数据表的数据结构、字段、备注、数据类型

Navicat导出指定数据表的数据结构、字段、备注、数据类型。 SELECT TABLE_NAME 表名, COLUMN_NAME 列名, COLUMN_TYPE 数据类型, DATA_TYPE 字段类型, CHARACTER_MAXIMUM_LENG...

2018-08-27 20:23:07

阅读数 3378

评论数 4

转载 在Windows8.1下配置Hadoop2.7.0的源代码阅读环境

参考连接地址:https://blog.csdn.net/chinamcafee/article/details/47858567

2018-04-19 15:07:51

阅读数 118

评论数 0

转载 centos 编译 安装 protobuf(hadoop编译)

最近在使用centos编译安装hadoop2.5,但是需要安装protobuf。开始的时候不知道怎么解决,找了很多方法。终于找到了。 下载 https://pan.baidu.com/s/1kToPuGB yum -y install gcc+ gcc-c++ yum -y inst...

2018-04-19 11:16:36

阅读数 254

评论数 0

原创 hadoop的java的APi使用的一些错误问题汇总

错误一: Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs 原因是:缺少hadoop-hdfs的依赖包 Exception in thread "...

2018-04-17 19:55:51

阅读数 278

评论数 0

原创 体验avro

一、下载avro 创建maven项目(使用eclipse或者idea) &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;junit&lt;/grou...

2018-03-27 15:51:18

阅读数 158

评论数 0

原创 hadoop-企业版环境搭建(七)-fllume的搭建

一、启动zookpeer,hdfs. 二、解压配置flume 配置环境变量: export JAVA_HOME=/usr/java/jdk1.7.0_79 export HBASE_HOME=/home/hbase-1.1.3 export HIVE_HOME=/home/apache-h...

2018-03-26 16:02:25

阅读数 107

评论数 0

原创 IntelliJ IDEA, cannot find declaration to go to

最近在学习框架的源码,使用idea直接打开源码包的时候,出现了不能ctrl+单击的跳转。网上找了很多教程,发现都没有用(那些博客上出现的问题都不能解决我的)。 最后还是stack overflow上面的比较好。希望对您们有些帮助。 将src设置成sources...

2018-03-21 20:47:21

阅读数 6694

评论数 1

原创 Rabbitmq安装

因为最近学习Springcloud的微服务平台,需要安装Rabitmq。 Rabbit MQ 是建立在Erlang OTP平台上,所以在安装rabbitMQ之前,需要先安装Erlang ,下载地址为http://www.erlang.org/downloads 下载好之后,双击进行安装 ...

2018-03-06 11:26:54

阅读数 220

评论数 0

原创 centos7使用yum安装Redis

1、centos7使用yum安装Redis时,可能会有安装源的问题出现。安装epel源,CentOS默认的安装源在官方的centos.org上,而redis在第三方的yum源里,因此无法安装。这就是我们常常在yum源里找不到各种软件的原因,还需要自己去wget,然后configure,make,m...

2018-03-01 20:37:33

阅读数 8325

评论数 0

原创 centos7下安装docker(阿里云)

最近买了个服务器,阿里云的,想安装一下docker为了springcloud部署做铺垫。 yum install -y yum-utils [root@shursulei ~]# yum-config-manager --add-repo https://download.docker.com/...

2018-01-29 21:16:17

阅读数 3413

评论数 1

原创 云服务器修改hostname

最近买了云服务器,但是服务器自带的用户名都是很长,看着不喜欢,本以为和以前搭建虚拟机的时候一样,先修改/etc/hosts,然后修改/etc/sysconfig/network文件,但是重启以后发现没有用,找了半天不,用以前的方法去做,但是最后发现自己傻了,其实方法很简单,直接按照下面的方法进行就...

2018-01-26 17:28:16

阅读数 889

评论数 0

转载 “Device eth0 does not seem to be present”解决办法

vm复制后出现的问题。mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etcsysconfig/network-scripts/ifcfg-eth1 cat /etc/udev/rules.d/70-persistent-net.rules 将其中的e...

2017-12-26 12:30:35

阅读数 1347

评论数 0

转载 web.xml is missing and <failOnMissingWebXml> is set to true

如果项目里没有web.xml,在项目里添加一个web.xml,刷新一下项目,就应该没有错误 参考链接:点击

2017-12-25 15:35:11

阅读数 200

评论数 0

原创 Could not transfer artifact org.springframework.boot:spring-boot-starter-parent:pom:1.5.2.RELEASE

Description Resource Path Location Type Project build error: Non-resolvable parent POM for com.shursulei.Springboot:Springbootday01:0.0.1-SN...

2017-12-25 09:53:54

阅读数 10876

评论数 9

原创 Description Resource Path Location Type web.xml is missing and <failOnMissingWebXml> is set to true

出错: 在pom.xml中build加入<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-w...

2017-12-16 16:05:25

阅读数 5512

评论数 0

转载 no matching editors or conversion strategy found

no matching editors or conversion strategy found 原因是xml配置文件中ref,而不是value,自己真是傻到家了 参考地址: http://blog.csdn.net/guizishou00/article/details/52354327

2017-12-15 21:25:31

阅读数 291

评论数 0

转载 ### Error building SqlSession. ### The error may exist in sqlmap/User.xml

org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession. ### The error may exist in sqlmap/User.xml ### Cause: org.apache.i...

2017-11-19 11:23:15

阅读数 9586

评论数 0

提示
确定要删除当前文章?
取消 删除