自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

拂晓的专栏

欢迎大家访问我的个人网站fuxiao.me,查看更多文章

原创 Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)

一、ElasticSearchSink介绍 在使用Flink进行数据的处理的时候,一个必要步骤就是需要将计算的结果进行存储或导出,Flink中这个过程称为Sink,官方我们提供了常用的几种Sink Connector,例如: Apache Kafka Elasticsearch Elast...

2018-07-19 20:12:20 15534 11

原创 Mac/Linux压力测试神器Siege详解(附安装过程)

背景描述 在做Web项目或者一个服务器程序的时候,往往会遇到以下的场景,想要确定自己服务器吞吐量有多大、在服务器中需要应用线程池但不知道线程池的数量应该设置多少、对JVM相关参数进行调优验证时需要大量的请求来触发GC等等。总之,在很多场景下,为了保证我们服务更加可靠和高可用,我们需要对系统进行压...

2018-03-27 20:37:15 9780 14

原创 解决ElasticSearch深度分页机制中Result window is too large问题

问题描述 今天在使用ElacticSearch做分页查询的时候,遇到一个奇怪的问题,分页获取前9999条数据的时候都是正常的,但每次获取第10000条数据的时候就无法获取到结果。检查自己代码中的分页逻辑也未发现什么问题,于是进行单步调试,当单步获取第10000条数据的时候捕捉到了下面的异常: ...

2018-01-12 10:39:32 10428 3

原创 Hadoop分块与分片介绍及分片和分块大小相同的原因

概念介绍分块在HDFS系统中,为了便于文件的管理和备份,引入分块概念(block)。这里的 块 是HDFS存储系统当中的最小单位,HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时,若文件大小大于设置的块大小,则该文件会被切分存储为多个块,多个块可以存放在不同的DataNode上,...

2017-12-18 20:44:58 4764 4

原创 分布式Zookeeper安装搭建详解

一、下载zookeeper安装包 在官网中下载,对于在墙内的用户,并不推荐该方式下载速度可能比较慢 推荐方式:在cloudera仓库进行下载,相较于官网下载更加稳定快速,地址http://archive.cloudera.com/cdh5/cdh/5/,选择需要版本下载tar.gz的安装包 二、将...

2017-11-26 19:46:15 14555 0

原创 开启Hadoop/Yarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题

问题描述今天在yarn上跑一个hadoop任务时,通过yarn的web管理后台(serveraddress:8088)想查看该任务的的任务时,发现提示如下错误: Java.lang.Exception:Unknown container.Container either has not sta...

2017-11-26 19:12:17 6664 3

原创 解决Yarn启动过程中InvalidAuxServiceException问题

问题描述Hadoop集群搭建成功后,当使用yarn来启动MapReduce程序时提示以下错误 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: ​ The auxService:mapreduce_shuff...

2017-11-17 11:05:14 478 0

原创 解决SSH免密登录配置成功后不生效问题

问题描述今天配置SSH免密登录时,使用 ssh-keygen 命令成功生成了公钥和私钥,并且也执行了 ssh-copy-id 机器地址 将公钥添加到了服务器的authorized_keys文件中。紧接着用 service sshd restart 命令重启了SSH服务,但当执行 ssh 登录命令时...

2017-11-12 17:38:42 46576 17

原创 解决Linux下无法使用sudo命令问题

问题描述今天搭建Hadoop伪集群时在虚拟机上新创建了一个Linux系统,但当使用普通用户登录后在终端中执行sudo命令时提示以下错误: We trust you have received the usual lecture from the local System Administ...

2017-11-09 20:32:02 18958 0

原创 Linux下查看文件精确到秒的修改时间

今天排查一个BUG遇到一个问题,错误日志中打印的时间精确到秒,但当根据日志中的时间去找对应文件进行验证的时候,发现通过 ls -l 或者 ll 命令,都无法查看到文件精确到秒的修改时间。 最后通过查阅,发现了以下两种方式可以查看文件秒级别的修改时间:方式一:ls –full-time 命令c...

2017-09-26 19:11:25 20174 0

原创 Linux/Mac实现下alias重命名命令永久生效

在Linux中为我们提供了一个很方便的重命名命令 alias ,它的作用为如果要执行命令太长又不符合用户的习惯,那么我们可以为它指定一个别名。例如:原本创建文件夹的命令为 mkdir,你可以使用 alias md=mkdir 命令将 mkdir 重命名为md ,使用 md 也可以便捷等价的创建...

2017-09-13 09:49:28 14827 0

原创 解决Git建立远程分支关联时fatal the current branch master has no upstream branch 问题

问题描述今天在使用git时,在本地新建了一个分支,按照网上搜到的方式使用 git branch --set-upstream dev origin/dev (这里的dev为本地新建的分支)命令建立本地分支与远程分支的关联,但该命令执行后并不能成功push变更到远程分支。问题解决出现上述问题,说明远...

2017-09-12 17:39:08 28738 3

原创 依赖冲突详细介绍及其解决方法

问题描述在做maven项目的过程中,不知道大家会不会遇到这样的问题,明明代码方面没有什么问题,但是在运行的时候就会报出诸如 java.lang.ClassNotFoundException 、java.lang.NoSuchMethodError、 java.lang.NoSuchFieldErr...

2017-09-05 09:49:38 2163 4

原创 解决hadoop启动时的dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.错误

今天在搭建玩Hadoop的环境,通过start-all.sh启动完毕后,发现只能打开localhost:8042的管理界面,而当进入localhost:50070对应的HDFS的web管理中心时,浏览器中一直提示无法连接。于是又仔细去翻看了下启动时的信息,发现提示了如下错误: Incorrect ...

2017-08-19 17:40:20 18141 14

原创 将maven项目打包成可执行的jar

在有些场景下我们需要将编写的Java工程编译打包成为一个完整的jar包,如果你的项目是使用maven构建的话可以通过以下方法来完成这个打包的过程。1、添加maven打包插件。在项目的pom.xml配置文件的build标签中添加以下代码,其中 mainClass 属性需要替换成你项目执行时的主类。 ...

2017-08-18 20:07:34 631 0

原创 Intellij Idea 自动生成serialVersionUID的方法

serialVersionUID介绍 再编程过程中当涉及到对象的传输问题时,我们会采用序列化的技术,通过序列化可以将对象的状态信息转换为可以存储或传输的形式的过程。在Java当中我们可以通过实现Serializable接口来序列化对象,而serialVersionUID就是Java序列化机制中一个...

2017-08-18 19:37:16 7429 2

原创 解决Jgit使用SSH验证方式从远程仓库克隆代码时 Unkonwhost 问题

当我们使用SSH验证方式,利用Jgit从远程仓库(例如:github)上拉取代码时,明明将本地主机的SSH 的公钥key已经添加到远程仓库的授权key列表中,但当使用SSH验证方式拉取代码程序中却一直再报Unknow host 问题,要解决该问题只需要更改本地的ssh 的配置远程仓库的相关信息并将...

2017-04-12 16:50:16 2825 0

原创 解决BootStrap Table表格中含中文时点击导出数据无响应的问题(Uncaught INVALID_CHARACTER_ERR: DOM Exception 5)

今天在使用bootstrap table中的数据导出功能时,遇到一个奇怪的问题,在使用测试数据进行测试的时候可以正常的将表格中的数据导出到excel、txt等文件中,但当将表格应用到web项目中时,当点击导出时始终没有任何响应。讲过一番调试排查后,最终发现是由于表格数据中含有中文导致的,在网页的开...

2017-04-12 16:35:20 2976 2

原创 多租户技术介绍

什么是多租户今天在看ElasticSearch介绍的时候,其中提到ES可以支持多租户的功能,突然联想到之前在某些软件服务提供商的介绍中也出现过这个名词,但对其一直不是很理解。经过查阅资料,将自己对租户的理解总结如下:多租户概念 多租户(Multi-Tenancy),或称为多重租赁技术,是一种软...

2017-03-07 23:14:49 6619 3

原创 解决MySQL登录ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor)问题

问题描述 今天在MAC上安装完MYSQL后,MYSQL默认给分配了一个默认密码,但当自己在终端上使用默认密码登录的时候,总会提示一个授权失败的错误:Access denied for user ‘root’@’localhost’ (using passwor)如图: 解决方案 既然...

2017-02-26 17:17:20 244247 50

原创 解决运行Java项目出现错误 error:java: 无效的源发行版: 8解决方法

今天在学习SpringBoot的时候,使用Idea配合Maven搭建了一个简单的SpringBoot的Demo但一运行的时候一直报 error:java: 无效的源发行版: 8 这个错误。 经过自己的审查发现,是由于SpringBoot这个项目默认是使用JDK1.8进行编译的,而自己本地安装...

2017-02-21 21:15:03 15964 3

原创 maven依赖scope配置项讲解

我们在使用Maven配置依赖项的时候,常常只会配置Maven的坐标以及版本信息就可以了,但我们看其他人的工程代码的时候常常会见到有个scope配置项,今天就来分别介绍下这个配置下几个类别的作用。 <scope>的分类一、complie编译域,这个是Maven中scope的默认值,我们平...

2017-02-21 20:29:26 4000 0

原创 Linux配置静态IP,以及解决配置静态IP后无法上网的问题

在Linux系统中,网络IP默认是根据DHCP方式由网关自动进行分配,这样可能会出现不同时候连接网络时所分配的IP不一致,在我们开发过程中有的时候若需要使用Linux系统用作服务器的话,显然这种方式很不方便。下面就来介绍一下Linux系统中设置静态IP的方法: 1、编辑网络配置文件 cd /etc...

2017-02-11 23:35:55 26814 0

原创 Mac下IntelliJ IDEA快捷键大全

Mac键盘符号和修饰键说明 ⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ Delete⌦ 向前删除键(Fn+Delete)↑ 上箭头↓ 下箭头← 左箭头→ 右箭头⇞ Page Up(Fn+↑)⇟ Page Down(Fn+↓)Home F...

2017-02-09 17:17:21 72622 5

原创 Spring源码剖析——依赖注入实现原理

引言  在之前的 Spring源码剖析——核心IOC容器原理这篇文章中,已经详细介绍了在Spring当中我们配置的Bean是怎样被Spring解析和管理的,我们配置的那些Bean经过 载入 、解析 和 注册 这三个过程后,在框架内部被抽象封装成BeanDefinition这种类型,最终所有的Bea...

2016-08-06 09:35:00 39509 9

原创 Spring源码剖析——核心IOC容器原理

IOC介绍  相信大多数人在学习Spring时 IOC 和 Bean 算得上是最常听到的两个名词,IOC在学习Spring当中出现频率如此之高必然有其原因。如果我们做一个比喻的话,把Bean说成Spring中主角的话,那么IOC便是这个主角进行演出的舞台,没有IOC作为Bean的承载,那么Bean...

2016-08-05 15:06:16 12511 12

原创 SpringBean生命周期详解

在Spring中 Bean 可谓是一个核心的元素,当我们结合Spring进行编程的时候也离不开Bean,面对这样重要的一个角色,了解其生命周期和该生命周期所涉及的环节对我们更加熟练灵活地使用Bean是很有Bean必要的,下面我们就来详细分析下Bean的生命周期吧。生命周期流程图  我们先通过一个流...

2016-08-02 08:37:20 21220 2

原创 Spring框架使用ByName自动注入同名问题剖析

问题描述   我们在使用Spring框架进行项目开发的时候,为了配置Bean的方便经常会使用到Spring当中的Autosire机制,Autowire根据注入规则的不同又可以分为==ByName==和==ByType==这两种机制(两者的用法和区别可以参考Spring@Autowire官方文...

2016-07-27 08:56:34 2601 2

原创 更改Nginx网站根目录以及导致的403 forbidden问题解决

一、更改根目录 Nginx默认网站根目录为/usr/local/nginx/html,要将它改成/home/fuxiao/www 更改方法: vi /usr/local/nginx/conf/nginx.conf 将其中的         location / {   ...

2016-04-27 13:19:08 30620 4

原创 Linux防火墙的设置

一、防火墙设置重启后生效    开启防火墙: chkconfig iptables on    关闭防火墙: chkconfig iptables off  2) 即时生效,重启后失效    开启: service iptables start    关闭: service ip...

2016-04-27 12:36:54 312 0

原创 【问题解决】解决Yum安装中出现的mirrorlist.txt错误

今天在使用Yum install命令安装软件的时候一直提示下面的错误: # yum install mysql Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile YumRepo Error: Al...

2016-04-27 11:53:42 8122 0

原创 逆向生成MySQL数据库对应的建表与Insert语句(可完成记录的迁移与备份)

我们在项目开发中,数据库表中的有些记录需要备份或者拷贝给他人使用,而觉得备份与还原数据库的方法又比较麻烦,便可以使用Navicat这个MySQL管理工具根据当前数据库中的记录逆向生成相对应的建表与Insert语句,在目标电脑上执行生成的SQL文件,便可以间接完成数据库记录的迁移。 下面来介绍具体方...

2016-04-26 16:05:28 3441 0

原创 Mybatis逆向工程的使用方法

一、什么是MyBatis逆向工程 简单的解释就是通过数据库中的单表,自动生成java代码。 我们平时在使用Mabatis框架进行Web应用开发的过程中,需要根据数据库表编写对应的Pojo类和Mapper映射文件,而这个过程重复单一且浪费时间。基于此,MyBatis官方为了让开发...

2016-04-25 17:50:36 10446 0

原创 【问题解决】Maven搭建Web项目中org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)问

最近使用Maven配合SSM(Spring+SpringMVC+Mybatis)搭建一个Web项目,在测试三个框架是否整合成功的时候,每次发出请求调用MyBatis时都会出现下面这个错误 从异常信息的提示来看是一个无效的语句绑定错误,一般出现该错误是由于MyBatis的Mappe...

2016-04-25 16:11:52 5256 5

原创 【问题解决】找不到或无法加载主类 com.sun.tools.javac.Main

今天在安装完JDK后,然后使用javac编译测试程序时,一直出现如下错误: 开始以为自己的环境变量没有设置成功,但仔细一分析要是环境没有设置成功提示的错误应该是命令无法找到的错误,既然提示找不到或无法加载主类 com.sun.tools.javac.Main说明自己环境变量已经设置成...

2016-04-25 14:36:54 12130 0

原创 BigDecimal用法详解

一、BigDecimal介绍       Java在java.math包中提供的API类BigDecimal,用来对超过16位有效位的数进行精确的运算。双精度浮点型变量double可以处理16位有效数。在实际应用中,需要对更大或者更小的数进行运算和处理。float和double只能用来做科学计...

2016-04-24 11:26:04 20846 0

原创 Java实现大数运算

一、大数运算介绍   大数运算,顾名思义,就是很大的数值的数进行一系列的运算。它是指由于编程语言提供的基本数值数据类型表示的数值范围有限,不能满足较大规模的高精度数值计算,因此需要利用其他方法实现高精度数值的计算,于是产生了大数运算。 二、Java实现大数运算方法 ...

2016-04-24 11:24:53 8433 0

原创 Eclipse中安装和使用Git

一、检查Eclipse中是否已经安装了Git 依次打开从菜单栏中打开 Help->About Eclipse 然后点击 Installation Details ,在上面的搜索框中搜索git 若下面没有搜索到相应的插件则说明未安装git需要重新安装,已经安装过了在这里就不用再...

2016-04-23 19:23:09 3379 0

原创 Mysql优化的一般步骤

一、数据库设计要合理 表的设计要符合3NF,有时需要适当的逆范式 1NF为属性的原子性约束,只要是关系型数据库均满足1NF。2NF对记录的唯一性约束,要求记录有唯一的标识(主键)。3NF在满足2NF的基础上,对字段冗余性的约束,任何字段不能由其他字段派生出来。 没有冗余的数据库未必是好的数据...

2016-04-17 19:02:00 1538 0

原创 并发模型编程中多进程与多进程的选择

在进行并发程序的实现时我们经常面临一个问题,到底是该选择多线程并发模型还是多线程并发模型呢?要在这两者间进行一个选择,首先需要明白两者的优缺点: 多线程的优点 方便高效的内存共享 – 多进程下内存共享比较不便,且会抵消掉多进程编程的好处。较轻的上下文切换开销 – 不用切换地址空...

2016-04-17 18:56:05 1496 0

提示
确定要删除当前文章?
取消 删除