冯立彬的博客

关注性能、效率、大型网站架构、分布式应用、大数据计算等

排序：
默认
按更新时间
按访问量
RSS订阅

原 基于MybatisGenerator扩展的 Model & Mapper & Service & Controller代码生成器

新鲜出炉的基于数据库表 自动生成Mybatis的 Model & Mapper & Service & Controller 等的代码的代码生成器，基于Mybatis Generator扩展其JavaMapper和XmlMap...

2018-10-25 18:45:31

阅读数：363

评论数：1

原 HBase中的SplitRegionPolicy实现原理及其源码解读

我的HBase是使用的是CDH5.15中的版本，其版本对应的是HBase的版本为1.2，后续的分析都是基于该版本的源码做的分析。 一、SplitRegionPolicy及其子类介绍 在HBase的1.2版本中，RegionSplitPolicy的实现子类共有6个，如下类图： 以下针对这几...

2018-09-18 13:48:06

阅读数：241

评论数：0

原 线上故障排查(2) - Java应用故障之堆溢出OOM问题及排查方案

以下是用于测试OOM的测试代码： public class HeapMemUseTest { public static void main(String[] args) { StringBuilder sb = new StringBuilder(); ...

2018-09-13 18:25:02

阅读数：213

评论数：0

原 线上故障排查(1) - Java应用故障之高CPU占用的问题及排查方案

做为应用负责人，谁都希望自己负责的应用能够在线上跑得顺顺当当，不出任何错误，也不产生任何告警，当然这是最理想的结果，也是做为技术人员希望达到的最终效果。可是实事上应用就像小孩一样，总会在不经意间，不按你期望的结果运行，如CPU偏高、内存占用偏高、应用没有响应、应用自动挂掉等，搞得我们技术人员不是一...

2018-09-13 17:16:32

阅读数：203

评论数：0

原 HDFS中将普通用户增加到超级用户组supergroup以及其应用场景

Hadoop平台会集成不同的组件，如hdfs、yarn、hive等，不同用户的操作权限不同，除了hdfs是超级用户以外，其它用户都默认是普通用户权限，但是有些场景之下，我们希望普通具有具有hdfs的超级权限，如我oozie中调试shell任务，其中shell调用sqoop从数据中导入数据到hive...

2018-08-31 20:22:31

阅读数：2138

评论数：0

原 处理Sprint Boot与Storm1.2.2日志实现的冲突，使用logback记录日志

通过mvn dependency:tree可以看到Sprint Boot Starter和Storm引入的日志记录框架不相同的，如下： Spring Boot Starter引入的日志组件是log4j-to-slf4j： +- org.springframework.boot:spring-...

2018-08-31 19:58:02

阅读数：438

评论数：0

原 Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址：https://docs.spring.io/spring-kafka/reference/htmlsingle kafka文档地址：http://kafka.apache.org/documentation SpringKafka中配置的Java配置实现类：htt...

2018-08-27 18:27:16

阅读数：3065

评论数：0

转 区块链相关技术学习总结——区块链以及区块链技术入门详解

转载自:http://blog.csdn.net/u012562943/article/details/60779241 区块链是目前一个比较热门的新概念，蕴含了技术与金融两层概念。从技术角度来看，这是一个牺牲一致性效率且保证最终一致性的的分布式的数据库，当然这是比较片面的。从经济学的角度来看，...

2018-08-21 15:46:37

阅读数：215

评论数：0

原 ElasticSearch中的日期映射为Hive中的日期格式

现在的场景是需要将ElasticSearch中的数据导入到Hive中，但是在导入的时候发现了日期映射的异常，ElasticSearch中日期字段定义的格式为： "time" : { "type&a...

2018-06-08 18:53:17

阅读数：967

评论数：0

原 Yarn中的Map和Reduce的优化

通过Hive执行的批次任务处理失败，通过Yarn的ResourceManager可以看到错误日志如下：Diagnostics: Container [pid=31880,containerID=container_1528360247633_0013_01_000001] is running b...

2018-06-08 17:42:00

阅读数：616

评论数：0

原 提升Hive操作Amazon S3读写数据的性能

Hive操作S3权限的优化参数优化值以胡数      参数推荐设置hive.warehouse.subdir.inherit.perms由于S3没有文件权限的概念，请设置hive.warehouse.subdir.inherit.perms = false以减少文件权限检查的次数。hive.met...

2018-06-07 15:20:26

阅读数：1789

评论数：1

原 Hive中导入Amazon S3中的分区表数据的操作

Hive中创建S3的外部表    数据在S3存放的数据是按时间纬度存放的，每天的数据存放在各自的目录下，目录结构如下截图：           每个目录下面的数据是CSV文件，现在将其导入到Hive中进行查询，通过创建对应的表结构：    CREATE EXTERNAL TABLE `palmpl...

2018-06-06 16:01:01

阅读数：835

评论数：0

原 CDH集群中集成AWS S3

介绍    通过在CDH大数据计算集群中集成AWS S3（Simple Storage Service）的功能，可以方便将存放于AWS S3中的数据在Hive中进行分析，也方便将其它数据源的数据（如ES、MYSQL等），通过Hive写入到S3然后通过其它的数据仓库和BI工具进行分析和展示，其功能包...

2018-05-30 14:43:04

阅读数：809

评论数：2

原 oozie的sharelib没有正确放到hadoop中，导致异常/user/oozie/share/lib does not exist

一、异常表现    通常情况下，正确的安装oozie，其share lib都会放到Hadoop的/user/oozie/share/lib目录中，但是也有可能在出现某种情况异常如权限不对等的情况下，导致/user/oozie/share/lib没有正确的放入oozie的share lib，其错误可...

2018-05-28 19:11:16

阅读数：1642

评论数：2

原 Hadoop集群中增加与ElasticSearch连接的操作

    在没有引入elasticsearch-hadoop-xxx.jar相应的Jar包时，的在Hive中执行ElasticSearch外部表操作，会报如下的异常：        Exception in thread "main" java.io.IOExce...

2018-05-28 11:54:22

阅读数：2040

评论数：1

原 Hive查询AWS上的ES服务报的EsHadoopIllegalArgumentException:No data nodes with HTTP-enabled available异常及解决方案

    原来的ElasticSearch集群是自己搭建，通过elasticsearch-hadoop插入从hive连接到elasticsearch做查询时，没有出现在过“org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:No dat...

2018-05-28 11:18:38

阅读数：836

评论数：1

原 Hive中带条件查询时报Class org.apache.hive.hcatalog.data.JsonSerDe not found的错误及解决办法

    数据计算平台重新搭建成功后，一切顠红，看起来心情就是舒畅，放个截图让心情爽一把：        后续当然需要做一些验证性的工作，以确保安装成功后一切都是执行OK的。    先放一些测试的JSON文件到HDFS的/tmp/test_json目录下，然后打开HUE界面，进行Hive SQL执行...

2018-05-25 10:07:31

阅读数：1205

评论数：0

原 CDH大数据计算管理平台安装所踩的坑及相关注意事项

    最近公司的基于CDH的Hadoop大数据计算平台需要迁移，由于时间过长，原来的搭建步骤以及踩过的坑都忘得差不多了，现在为了将来能够有个依据，特将本次重新搭建平台所踩的坑给记录下来。    总体的步骤参看请参看这篇文章：http://blog.csdn.net/f1321368/articl...

2018-05-24 16:53:42

阅读数：1579

评论数：9

原 Java8中使用stream进行分组统计和普通实现的分组统计的性能对比

    在ImportNew上面看到一篇文章：http://www.importnew.com/14841.html，说的是使用Java8的对集合采用流操作的新特性，替代旧的使用循环对集合操作的方式，使用Java8的流操作功能对集合进行分组，以及对相应的内容进行去重等操作等，使用Java8编写的代...

2018-05-08 14:11:07

阅读数：4328

评论数：0

原 Java数据结构Map,List,Set及Queue相关的类图

闲来无事，把util包中相关的数据结构的类图及其关系画了一下，给大家分享一下。

2014-07-12 21:52:39

阅读数：7941

评论数：5

提示
确定要删除当前文章？
取消 删除
关闭
关闭