拂晓的专栏

欢迎大家访问我的个人网站fuxiao.me,查看更多文章

Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)

一、ElasticSearchSink介绍 在使用Flink进行数据的处理的时候,一个必要步骤就是需要将计算的结果进行存储或导出,Flink中这个过程称为Sink,官方我们提供了常用的几种Sink Connector,例如: Apache Kafka Elasticsearch Elast...

2018-07-19 20:12:20

阅读数:2713

评论数:5

Mac/Linux压力测试神器Siege详解(附安装过程)

背景描述 在做Web项目或者一个服务器程序的时候,往往会遇到以下的场景,想要确定自己服务器吞吐量有多大、在服务器中需要应用线程池但不知道线程池的数量应该设置多少、对JVM相关参数进行调优验证时需要大量的请求来触发GC等等。总之,在很多场景下,为了保证我们服务更加可靠和高可用,我们需要对系统进行压...

2018-03-27 20:37:15

阅读数:2727

评论数:5

解决ElasticSearch深度分页机制中Result window is too large问题

问题描述 今天在使用ElacticSearch做分页查询的时候,遇到一个奇怪的问题,分页获取前9999条数据的时候都是正常的,但每次获取第10000条数据的时候就无法获取到结果。检查自己代码中的分页逻辑也未发现什么问题,于是进行单步调试,当单步获取第10000条数据的时候捕捉到了下面的异常: ...

2018-01-12 10:39:32

阅读数:3767

评论数:3

Hadoop分块与分片介绍及分片和分块大小相同的原因

概念介绍分块在HDFS系统中,为了便于文件的管理和备份,引入分块概念(block)。这里的 块 是HDFS存储系统当中的最小单位,HDFS默认定义一个块的大小为64MB。当有文件上传到HDFS上时,若文件大小大于设置的块大小,则该文件会被切分存储为多个块,多个块可以存放在不同的DataNode上,...

2017-12-18 20:44:58

阅读数:2476

评论数:1

分布式Zookeeper安装搭建详解

一、下载zookeeper安装包 在官网中下载,对于在墙内的用户,并不推荐该方式下载速度可能比较慢 推荐方式:在cloudera仓库进行下载,相较于官网下载更加稳定快速,地址http://archive.cloudera.com/cdh5/cdh/5/,选择需要版本下载tar.gz的安装包 二、将...

2017-11-26 19:46:15

阅读数:10812

评论数:0

开启Hadoop/Yarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题

问题描述今天在yarn上跑一个hadoop任务时,通过yarn的web管理后台(serveraddress:8088)想查看该任务的的任务时,发现提示如下错误: Java.lang.Exception:Unknown container.Container either has not sta...

2017-11-26 19:12:17

阅读数:3365

评论数:2

解决Yarn启动过程中InvalidAuxServiceException问题

问题描述Hadoop集群搭建成功后,当使用yarn来启动MapReduce程序时提示以下错误 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: ​ The auxService:mapreduce_shuff...

2017-11-17 11:05:14

阅读数:257

评论数:0

解决SSH免密登录配置成功后不生效问题

问题描述今天配置SSH免密登录时,使用 ssh-keygen 命令成功生成了公钥和私钥,并且也执行了 ssh-copy-id 机器地址 将公钥添加到了服务器的authorized_keys文件中。紧接着用 service sshd restart 命令重启了SSH服务,但当执行 ssh 登录命令时...

2017-11-12 17:38:42

阅读数:18040

评论数:9

解决Linux下无法使用sudo命令问题

问题描述今天搭建Hadoop伪集群时在虚拟机上新创建了一个Linux系统,但当使用普通用户登录后在终端中执行sudo命令时提示以下错误: We trust you have received the usual lecture from the local System Administ...

2017-11-09 20:32:02

阅读数:6672

评论数:0

Linux下查看文件精确到秒的修改时间

今天排查一个BUG遇到一个问题,错误日志中打印的时间精确到秒,但当根据日志中的时间去找对应文件进行验证的时候,发现通过 ls -l 或者 ll 命令,都无法查看到文件精确到秒的修改时间。 最后通过查阅,发现了以下两种方式可以查看文件秒级别的修改时间:方式一:ls –full-time 命令c...

2017-09-26 19:11:25

阅读数:5459

评论数:0

Linux/Mac实现下alias重命名命令永久生效

在Linux中为我们提供了一个很方便的重命名命令 alias ,它的作用为如果要执行命令太长又不符合用户的习惯,那么我们可以为它指定一个别名。例如:原本创建文件夹的命令为 mkdir,你可以使用 alias md=mkdir 命令将 mkdir 重命名为md ,使用 md 也可以便捷等价的创建...

2017-09-13 09:49:28

阅读数:9855

评论数:0

解决Git建立远程分支关联时fatal the current branch master has no upstream branch 问题

问题描述今天在使用git时,在本地新建了一个分支,按照网上搜到的方式使用 git branch --set-upstream dev origin/dev (这里的dev为本地新建的分支)命令建立本地分支与远程分支的关联,但该命令执行后并不能成功push变更到远程分支。问题解决出现上述问题,说明远...

2017-09-12 17:39:08

阅读数:10772

评论数:0

依赖冲突详细介绍及其解决方法

问题描述在做maven项目的过程中,不知道大家会不会遇到这样的问题,明明代码方面没有什么问题,但是在运行的时候就会报出诸如 java.lang.ClassNotFoundException 、java.lang.NoSuchMethodError、 java.lang.NoSuchFieldErr...

2017-09-05 09:49:38

阅读数:743

评论数:3

解决hadoop启动时的dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.错误

今天在搭建玩Hadoop的环境,通过start-all.sh启动完毕后,发现只能打开localhost:8042的管理界面,而当进入localhost:50070对应的HDFS的web管理中心时,浏览器中一直提示无法连接。于是又仔细去翻看了下启动时的信息,发现提示了如下错误: Incorrect ...

2017-08-19 17:40:20

阅读数:9616

评论数:7

将maven项目打包成可执行的jar

在有些场景下我们需要将编写的Java工程编译打包成为一个完整的jar包,如果你的项目是使用maven构建的话可以通过以下方法来完成这个打包的过程。1、添加maven打包插件。在项目的pom.xml配置文件的build标签中添加以下代码,其中 mainClass 属性需要替换成你项目执行时的主类。 ...

2017-08-18 20:07:34

阅读数:182

评论数:0

Intellij Idea 自动生成serialVersionUID的方法

serialVersionUID介绍 再编程过程中当涉及到对象的传输问题时,我们会采用序列化的技术,通过序列化可以将对象的状态信息转换为可以存储或传输的形式的过程。在Java当中我们可以通过实现Serializable接口来序列化对象,而serialVersionUID就是Java序列化机制中一个...

2017-08-18 19:37:16

阅读数:4053

评论数:0

解决Jgit使用SSH验证方式从远程仓库克隆代码时 Unkonwhost 问题

当我们使用SSH验证方式,利用Jgit从远程仓库(例如:github)上拉取代码时,明明将本地主机的SSH 的公钥key已经添加到远程仓库的授权key列表中,但当使用SSH验证方式拉取代码程序中却一直再报Unknow host 问题,要解决该问题只需要更改本地的ssh 的配置远程仓库的相关信息并将...

2017-04-12 16:50:16

阅读数:1643

评论数:0

解决BootStrap Table表格中含中文时点击导出数据无响应的问题(Uncaught INVALID_CHARACTER_ERR: DOM Exception 5)

今天在使用bootstrap table中的数据导出功能时,遇到一个奇怪的问题,在使用测试数据进行测试的时候可以正常的将表格中的数据导出到excel、txt等文件中,但当将表格应用到web项目中时,当点击导出时始终没有任何响应。讲过一番调试排查后,最终发现是由于表格数据中含有中文导致的,在网页的开...

2017-04-12 16:35:20

阅读数:2432

评论数:2

多租户技术介绍

什么是多租户今天在看ElasticSearch介绍的时候,其中提到ES可以支持多租户的功能,突然联想到之前在某些软件服务提供商的介绍中也出现过这个名词,但对其一直不是很理解。经过查阅资料,将自己对租户的理解总结如下:多租户概念 多租户(Multi-Tenancy),或称为多重租赁技术,是一种软...

2017-03-07 23:14:49

阅读数:4433

评论数:3

解决MySQL登录ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor)问题

问题描述 今天在MAC上安装完MYSQL后,MYSQL默认给分配了一个默认密码,但当自己在终端上使用默认密码登录的时候,总会提示一个授权失败的错误:Access denied for user ‘root’@’localhost’ (using passwor)如图: 解决方案 既然...

2017-02-26 17:17:20

阅读数:199391

评论数:37

提示
确定要删除当前文章?
取消 删除
关闭
关闭