关闭
当前搜索:

hbase rest 源码解析 对象与字符串的互转

最近用springcloud写了一个模拟的hbase rest server,供自动化测试使用,为了达到测试目的,hbase rest server除了跟原生的hbase rest的功能一样外,传入的参数,返回的结果对象,也都一样。 hbase rest返回的结果都是字符串,在程序内部都是hbase相关的对象。第一步就是对象跟字符串的转换问题。 原生的hbase rest支持两种字符串格式的...
阅读(239) 评论(0)

SUSE 搭建GIT服务

1.安装git1.1在suse软件库中安装gitzypper install git不同系统的Linux安装软件包的命令不同,suse中是使用zypper。1.2检查git是否安装成功# git --version git version 1.7.12.4若安装成功,则显示已安装的版本号,若安装不成功,则提示命令不支持。2.创建仓库2.1创建用户及用户组1.创建git用户sudo useradd -...
阅读(344) 评论(0)

Feign

Feign简介Feign是一个声明式的Web服务客户端,使用Feign可使得Web服务客户端的写入更加方便。 它具有可插拔注释支持,包括Feign注解和JAX-RS注解、Feign还支持可插拔编码器和解码器、Spring Cloud增加了对Spring MVC注释的支持,并HttpMessageConverters在Spring Web中使用了默认使用的相同方式。Spring Cloud集成了Ri...
阅读(900) 评论(0)

Scope provided在IDEA中不起作用

短短两个星期中,我已经两次遇到maven的scope问题了。该长点记性了。 compile: This is the default scope, used if none is specified. Compile dependencies are available in all classpaths of a project. Furthermore, those dependenc...
阅读(727) 评论(2)

Spark 共享变量

Spark中有两种类型的共享变量:一个是累加器accumulator、一个是广播变量broadcast variable。 累加器:用来对信息进行聚合 广播变量:用来高效分发较大的对象 一. 累加器累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数,如:统计日志中空行数、统计错误行数等。用法: 通过调用JavaSparkContext.accumulator(initivalVa...
阅读(450) 评论(0)

Kafka auto.offset.reset值详解

昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset,自动将偏移量置为最早的。难道不是topic中各分区的开始?结果还真不是,具体含义如下:auto.offset.res...
阅读(9637) 评论(1)

spark基础

1. Spark概述1.1Spark是什么 Spark是内存计算系统,2009年它出品于UCBerkeley AMPLab伯克利下属实验室,它最早是一片博士论文,论述如何提高map和reduce的效率。后来就针对这篇论文写出了相应的实现。2013年6月捐赠了给Apache,2014年2月成为Apache的顶级项目。 最大节点的集群来自腾讯,8000个节点,单个job最大分别是阿里巴巴...
阅读(473) 评论(0)

Kafka基础(一)

1.概述   经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容:Kafka背景 Kafka应用场景 Kafka架构原理   下面开始今天的博客分享内容。2.Kafka背景   Kafka它本质上是...
阅读(632) 评论(2)

Kafka分区策略及自定义

默认分区策略默认分区策略是:取正(bytearray生成32位hash值)%numpartitions 这个公式的结果是得到0-(numpartitions-1)间正整数的个数大致相等,也就是说kafka的默认分区策略是无论我们给定多少个分区,我们存放的数据基本上会平均的分到各个分区上。private int defaultPartition(String topic, Object key, b...
阅读(2254) 评论(0)

Kafka基础(二)

首先要明确一下kafka中topic、分区与broker的关系。 broker:指的是kafka集群中的一个服务器 topic:消息的主题,指同一类别的消息 分区:消息分几块存储在broker上,一块就是一个分区 一个topic分多个分区存放,如下图 一个分区分布到多个broker中 在设置了分区副本时,一个分区中的数据,会在其他broker上备份,副本中的数据和数据顺序都和主分区中的一致...
阅读(442) 评论(0)

Kafka 生产消费实例

环境准备 创建topic 命令行模式 执行生产者消费者实例 客户端模式 运行消费者生产者 1. 环境准备 说明:kafka集群环境我比较懒直接使用公司现有的环境。安全起见,所有的操作都是在自己用户下完成的,若是自己的kafka环境,完全可以使用kafka管理员的用户。创建topic时需要在kafka管理员的用户下完成。 1.登录到kafka集群中节点,并切换到kafka管理员用户下ssh...
阅读(2952) 评论(1)

Apache Kafka 介绍

流平台三个重要功能1. 发布和订阅流,在这方面它类似消息队列或企业级的消息系统 2. 容错的方式存储流 3. 处理流 kafka的优势有哪些它主要应用在以下两大类: 1. 构建实时的流数据管道,在应用与系统之间获取流数据。 2. 构建实时的流应用程序,对数据流进行转换或相应。 为了了解kafka是如何做这些事的,我们自下而上深入探究kafka的能力。首先几个概念 kafka作为一个集群...
阅读(513) 评论(1)

MySQL数据库优化(一)

1. 数据库优化的目的      1)数据库慢速查询,解决界面内容加载不出来;    2)增加数据库的稳定性; 2. SQL工具 2.1 慢查日志     慢查日志呢就是MySQL日志查询比较慢的SQL语句的日志。详细的记录了所有的超过某一时间的SQL语句。    1)慢查日志的开启     首先查看慢查日志是否开启:show VARIABLES like '%slow%',...
阅读(1268) 评论(2)

正则表达式使用总结

1,简单匹配 在java中字符串可以直接使用 String.matches(regex) 注意:正则表达式匹配的是所有的字符串 2,匹配并查找 找到字符串中符合正则表达式的subString,结合Pattern Matcher 如下实例取出尖括号中的值 String str = "abcdefefg"; String cmd = ""; Pattern p = Patt...
阅读(1674) 评论(6)

JSF 原理简要介绍

JSF(Java Server Faces)的本质也是Servlet,只不过实现Servlet的方式不同而已。 那到底JSF是怎样的Servlet呢,有比较才会有不同。总结相同,区分不同。 首先,JSF与经典的Servlet请求处理的流程不同。熟悉Servlet的程序员都清楚,Servlet的请求处理是由界面的submit提交按钮将界面表单提交给后台,服务器通过request,session等...
阅读(2427) 评论(6)
164条 共11页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:2072406次
    • 积分:12337
    • 等级:
    • 排名:第1393名
    • 原创:151篇
    • 转载:12篇
    • 译文:1篇
    • 评论:1672条
    博客专栏
    最新评论