冯立彬的博客

关注性能、效率、大型网站架构、分布式应用、大数据计算等

Elasticsearch的进阶之路 - 第二章之Elasticsearch目录结构及核心配置文件介绍

Elasticsearch集群环境搭建 下载 Elasticsearch的官方下载网址为https://www.elastic.co/cn/downloads/elasticsearch,可以看到有适合Windows、Linux和MacOS等不同操作系统的版本,如下图示: ...

2019-04-26 14:32:22

阅读数 144

评论数 0

Elasticsearch单节点和集群的搭建,包括Head及Kibana的使用的视频教学

Elasticsearch的安装教学视频已经发布了,总共的视频长度为1小时29分,包括内容有Elasticsearch单节点和集群的搭建、Elasticsearch-Head和Kibana的安装和使用,为了便于理解和排查问题,其中包括基本的操作示例,由于视频大小限制只允许发布250M以内的视频,因...

2019-04-24 10:37:09

阅读数 54

评论数 0

Elasticsearch的进阶之路 - 第一章 - Elasticsearch介绍

Elasticsearch介绍 本章将介绍以下内容 --------------------------------------------------------------------------------------------------- Elasticsearch的前世今生 El...

2019-04-22 10:47:57

阅读数 327

评论数 2

工作回顾

从毕业到工作,已经有13年了,大大小小的公司都有待过,如长亮科技、阿里巴巴和华为等,感受过不同企业的文化,从最初的开发工程师,一步步从高级开发工程师、架构师、高级架构师、技术经理,再到技术总监,也让自己从懵懂的少年,成长为了独当一面的将军,再到互联网企业研发的核心。 CSDN上写过的文档和知识...

2019-04-21 05:12:10

阅读数 103

评论数 4

Spark2中操作HBase的异常:java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily

    为了完善HBase的管理功能,且利用Spark的数据处理优异性能的特性,就准备在Spark中集成HBase的管理功能。但是集成的过程中出现了一个比较奇怪的问题,异常信息如下: Exception in thread "main" java.lang....

2019-02-22 14:52:27

阅读数 373

评论数 0

基于MybatisGenerator扩展的 Model & Mapper & Service & Controller代码生成器

新鲜出炉的基于数据库表 自动生成Mybatis的 Model & Mapper & Service & Controller 等的代码的代码生成器,基于Mybatis Generator扩展其JavaMapper和XmlMap...

2018-10-25 18:45:31

阅读数 1778

评论数 2

HBase中的SplitRegionPolicy实现原理及其源码解读

我的HBase是使用的是CDH5.15中的版本,其版本对应的是HBase的版本为1.2,后续的分析都是基于该版本的源码做的分析。 一、SplitRegionPolicy及其子类介绍 在HBase的1.2版本中,RegionSplitPolicy的实现子类共有6个,如下类图: 以下针对这几...

2018-09-18 13:48:06

阅读数 473

评论数 0

线上故障排查(2) - Java应用故障之堆溢出OOM问题及排查方案

以下是用于测试OOM的测试代码: public class HeapMemUseTest { public static void main(String[] args) { StringBuilder sb = new StringBuilder(); ...

2018-09-13 18:25:02

阅读数 774

评论数 0

线上故障排查(1) - Java应用故障之高CPU占用的问题及排查方案

做为应用负责人,谁都希望自己负责的应用能够在线上跑得顺顺当当,不出任何错误,也不产生任何告警,当然这是最理想的结果,也是做为技术人员希望达到的最终效果。可是实事上应用就像小孩一样,总会在不经意间,不按你期望的结果运行,如CPU偏高、内存占用偏高、应用没有响应、应用自动挂掉等,搞得我们技术人员不是一...

2018-09-13 17:16:32

阅读数 348

评论数 0

HDFS中将普通用户增加到超级用户组supergroup以及其应用场景

Hadoop平台会集成不同的组件,如hdfs、yarn、hive等,不同用户的操作权限不同,除了hdfs是超级用户以外,其它用户都默认是普通用户权限,但是有些场景之下,我们希望普通具有具有hdfs的超级权限,如我oozie中调试shell任务,其中shell调用sqoop从数据中导入数据到hive...

2018-08-31 20:22:31

阅读数 4485

评论数 0

处理Sprint Boot与Storm1.2.2日志实现的冲突,使用logback记录日志

通过mvn dependency:tree可以看到Sprint Boot Starter和Storm引入的日志记录框架不相同的,如下: Spring Boot Starter引入的日志组件是log4j-to-slf4j: +- org.springframework.boot:spring-...

2018-08-31 19:58:02

阅读数 744

评论数 0

Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址:https://docs.spring.io/spring-kafka/reference/htmlsingle kafka文档地址:http://kafka.apache.org/documentation SpringKafka中配置的Java配置实现类:htt...

2018-08-27 18:27:16

阅读数 7827

评论数 0

区块链相关技术学习总结——区块链以及区块链技术入门详解

转载自:http://blog.csdn.net/u012562943/article/details/60779241 区块链是目前一个比较热门的新概念,蕴含了技术与金融两层概念。从技术角度来看,这是一个牺牲一致性效率且保证最终一致性的的分布式的数据库,当然这是比较片面的。从经济学的角度来看,...

2018-08-21 15:46:37

阅读数 302

评论数 0

ElasticSearch中的日期映射为Hive中的日期格式

现在的场景是需要将ElasticSearch中的数据导入到Hive中,但是在导入的时候发现了日期映射的异常,ElasticSearch中日期字段定义的格式为: "time" : { "type&a...

2018-06-08 18:53:17

阅读数 1349

评论数 0

Yarn中的Map和Reduce的优化

通过Hive执行的批次任务处理失败,通过Yarn的ResourceManager可以看到错误日志如下:Diagnostics: Container [pid=31880,containerID=container_1528360247633_0013_01_000001] is running b...

2018-06-08 17:42:00

阅读数 727

评论数 0

提升Hive操作Amazon S3读写数据的性能

Hive操作S3权限的优化参数优化值以胡数      参数推荐设置hive.warehouse.subdir.inherit.perms由于S3没有文件权限的概念,请设置hive.warehouse.subdir.inherit.perms = false以减少文件权限检查的次数。hive.met...

2018-06-07 15:20:26

阅读数 2301

评论数 1

Hive中导入Amazon S3中的分区表数据的操作

Hive中创建S3的外部表    数据在S3存放的数据是按时间纬度存放的,每天的数据存放在各自的目录下,目录结构如下截图:           每个目录下面的数据是CSV文件,现在将其导入到Hive中进行查询,通过创建对应的表结构:    CREATE EXTERNAL TABLE `palmpl...

2018-06-06 16:01:01

阅读数 1071

评论数 0

CDH集群中集成AWS S3

介绍    通过在CDH大数据计算集群中集成AWS S3(Simple Storage Service)的功能,可以方便将存放于AWS S3中的数据在Hive中进行分析,也方便将其它数据源的数据(如ES、MYSQL等),通过Hive写入到S3然后通过其它的数据仓库和BI工具进行分析和展示,其功能包...

2018-05-30 14:43:04

阅读数 1099

评论数 2

oozie的sharelib没有正确放到hadoop中,导致异常/user/oozie/share/lib does not exist

一、异常表现    通常情况下,正确的安装oozie,其share lib都会放到Hadoop的/user/oozie/share/lib目录中,但是也有可能在出现某种情况异常如权限不对等的情况下,导致/user/oozie/share/lib没有正确的放入oozie的share lib,其错误可...

2018-05-28 19:11:16

阅读数 2413

评论数 2

Hadoop集群中增加与ElasticSearch连接的操作

    在没有引入elasticsearch-hadoop-xxx.jar相应的Jar包时,的在Hive中执行ElasticSearch外部表操作,会报如下的异常:        Exception in thread "main" java.io.IOExce...

2018-05-28 11:54:22

阅读数 3144

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭