李双喆

一直奋斗的女程序员

排序:
默认
按更新时间
按访问量

hive基础知识

    接触hive也有一段时间了,一直把它当做传统的数据库使用的,没有出现问题。昨天的时候遇到一个问题,就是hive表中的数据有重复了,领导让尽快出方案解决,我想都没想,直接脱口就说“把重复的删除”,同事告诉我说,hive不支持删除。当时尴尬到家啦。。无知太可怕了,赶紧学习总结一下hive。补补...

2018-05-20 22:13:49

阅读数:66

评论数:0

hbase rest 源码解析 对象与字符串的互转

最近用springcloud写了一个模拟的hbase rest server,供自动化测试使用,为了达到测试目的,hbase rest server除了跟原生的hbase rest的功能一样外,传入的参数,返回的结果对象,也都一样。 hbase rest返回的结果都是字符串,在程序内部都是hb...

2017-11-25 21:54:37

阅读数:391

评论数:0

SUSE 搭建GIT服务

1.安装git1.1在suse软件库中安装gitzypper install git不同系统的Linux安装软件包的命令不同,suse中是使用zypper。1.2检查git是否安装成功# git --version git version 1.7.12.4若安装成功,则显示已安装的版本号,若安装不...

2017-09-20 17:19:42

阅读数:557

评论数:0

Feign

Feign简介Feign是一个声明式的Web服务客户端,使用Feign可使得Web服务客户端的写入更加方便。 它具有可插拔注释支持,包括Feign注解和JAX-RS注解、Feign还支持可插拔编码器和解码器、Spring Cloud增加了对Spring MVC注释的支持,并HttpMessage...

2017-08-21 15:07:49

阅读数:2307

评论数:0

Scope provided在IDEA中不起作用

短短两个星期中,我已经两次遇到maven的scope问题了。该长点记性了。 compile: This is the default scope, used if none is specified. Compile dependencies are available in all c...

2017-07-17 10:30:16

阅读数:930

评论数:2

Spark 共享变量

Spark中有两种类型的共享变量:一个是累加器accumulator、一个是广播变量broadcast variable。 累加器:用来对信息进行聚合 广播变量:用来高效分发较大的对象 一. 累加器累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数,如:统计日志中空行数、统计错...

2017-07-13 15:48:44

阅读数:646

评论数:0

Kafka auto.offset.reset值详解

昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset,自动将偏移量...

2017-07-06 11:25:22

阅读数:19869

评论数:2

spark基础

1. Spark概述1.1Spark是什么 Spark是内存计算系统,2009年它出品于UCBerkeley AMPLab伯克利下属实验室,它最早是一片博士论文,论述如何提高map和reduce的效率。后来就针对这篇论文写出了相应的实现。2013年6月捐赠了给Apache,2014年2月...

2017-07-04 09:23:38

阅读数:563

评论数:0

Kafka基础(一)

1.概述   经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容:Kafka背景 Kafka应用场景...

2017-06-20 15:19:56

阅读数:716

评论数:2

Kafka分区策略及自定义

默认分区策略默认分区策略是:取正(bytearray生成32位hash值)%numpartitions 这个公式的结果是得到0-(numpartitions-1)间正整数的个数大致相等,也就是说kafka的默认分区策略是无论我们给定多少个分区,我们存放的数据基本上会平均的分到各个分区上。priv...

2017-06-13 17:13:18

阅读数:3573

评论数:1

Kafka基础(二)

首先要明确一下kafka中topic、分区与broker的关系。 broker:指的是kafka集群中的一个服务器 topic:消息的主题,指同一类别的消息 分区:消息分几块存储在broker上,一块就是一个分区 一个topic分多个分区存放,如下图 一个分区分布到多个broker中 在...

2017-06-13 12:22:01

阅读数:494

评论数:0

Kafka 生产消费实例

环境准备 创建topic 命令行模式 执行生产者消费者实例 客户端模式 运行消费者生产者 1. 环境准备 说明:kafka集群环境我比较懒直接使用公司现有的环境。安全起见,所有的操作都是在自己用户下完成的,若是自己的kafka环境,完全可以使用kafka管理员的用户。创建topic时需要...

2017-06-12 20:28:32

阅读数:3752

评论数:1

Apache Kafka 介绍

流平台三个重要功能1. 发布和订阅流,在这方面它类似消息队列或企业级的消息系统 2. 容错的方式存储流 3. 处理流 kafka的优势有哪些它主要应用在以下两大类: 1. 构建实时的流数据管道,在应用与系统之间获取流数据。 2. 构建实时的流应用程序,对数据流进行转换或相应。 为了了解...

2017-05-25 18:20:45

阅读数:586

评论数:1

MySQL数据库优化(一)

1. 数据库优化的目的      1)数据库慢速查询,解决界面内容加载不出来;    2)增加数据库的稳定性; 2. SQL工具 2.1 慢查日志     慢查日志呢就是MySQL日志查询比较慢的SQL语句的日志。详细的记录了所有的超过某一时间的SQL语句。    1)慢查日志的开启     ...

2017-03-19 23:54:20

阅读数:1390

评论数:3

正则表达式使用总结

1,简单匹配 在java中字符串可以直接使用 String.matches(regex) 注意:正则表达式匹配的是所有的字符串 2,匹配并查找 找到字符串中符合正则表达式的subString,结合Pattern Matcher 如下实例取出尖括号中的值 String str...

2016-11-29 23:19:09

阅读数:1809

评论数:6

JSF 原理简要介绍

JSF(Java Server Faces)的本质也是Servlet,只不过实现Servlet的方式不同而已。 那到底JSF是怎样的Servlet呢,有比较才会有不同。总结相同,区分不同。 首先,JSF与经典的Servlet请求处理的流程不同。熟悉Servlet的程序员都清楚,Servlet的请求...

2016-11-26 00:46:26

阅读数:4261

评论数:6

JNI java调用动态链接库dll

#include #include JNIEXPORT void JNICALL JAVA_ConDll_open(JNIEnv *env,jobject obj);          生成的头文件中方法命名为java类的完整路径和方法,中间用下划线隔开。          注意:如果项目中调用...

2015-05-28 22:19:01

阅读数:8799

评论数:6

JSF 多个配置文件

JSF应用配置是通过xml文件处理的,默认为faces-config.xml,该文件中配置应用支持的场所,bean,导航等。在实际开发中,如果项目很大,很多模块的bean都会配置到faces-config.xml文件,造成该文件过大内容也杂,最好像spring配置文件分成多个,一个模块对应一个配置...

2015-05-23 22:33:28

阅读数:2462

评论数:2

jsf标签 验证器的使用

jsf验证器+正则表达式验证 密码,两次密码是否一致功能。  需求说明: 1,密码和确认后面显示(由10-15位字母或数字组成) 2,两次密码不一致时在确认密码后提示 3,更改内容后验证通过再次提示信息(由10-15位字母或数字组成)

2015-05-23 22:11:39

阅读数:3390

评论数:0

excel表格转换为甘特图(wps)

excel表格数据,可以直接转换为甘特图格式,详细步骤如下:(以wps为例) 1,创建表格数据  注意:B列第一行单元格,不要有内容。 2,转换为初级图     选中要转换的数据源包括标题,点击“插入”按钮,选择“图表”,选择图标类型为“堆积条形图” ...

2015-02-28 17:25:33

阅读数:8933

评论数:4

提示
确定要删除当前文章?
取消 删除
关闭
关闭