自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1402)
  • 收藏
  • 关注

转载 字节数组的妙用

在计算机高级语言中,字节属于最小单位,例如在Java中,int占用4个字节,long占用8个字节等。基本上所有基本类型(包括String)都可以转换成字节,那么这到底有何作用,本篇博客主要是记录了我使用字节数组的经验,希望可以给大家提供一些思路。缓存对象缓存类型大小分析在实际开发中,经常会用到本地缓存,或使用Redis或者Memcached来作分布式缓存,Java一般存入缓存中的对象无非是

2018-01-02 18:11:18 10023 1

转载 Java对象与byte[]数组之间的相互转化,压缩解压缩操作

原文:http://blog.csdn.net/NsdnResponsibility/article/details/51028739#comments下面介绍一下java对象之间和byte[]数组之间的相互转化。并对byte[]数据进行压缩操作。java对象转化为byte[]数组可用于redis中实现缓存。(这里暂不做介绍).话不多说直接开实例: 首先我们创建一个java对象:P

2018-01-02 17:40:01 2890

转载 Java中如何判断两个对象是否相等(Java equals and ==)

原文:https://www.dutycode.com/post-140.html如何判断两个对象相等,这个问题实际上可以看做是如何对equals方法和hashcode方法的理解。从以下几个点来理解equals和hashCode方法:1、equals的作用及与==的区别。2、hashcode的作用及与equals的关系。1、equals的作用及与==的区别。

2017-12-15 02:16:13 62380 7

原创 Prototype design pattern in Java

package com.design.prototype;/** * Prototype design pattern in Java */public class Book { private int bid; private String bname; public int getBid() { return bid; }

2017-12-04 17:34:17 553

转载 Java String、变量、类与对象、集合类、SSH(二)

原文:http://blog.csdn.net/zhangerqing/article/details/8786435这章我们还是接着上一章的,继续整理。1、数组有没有length()这个方法? String有没有length()这个方法? 数组没有length()这个方法,有length的属性。String有有length()这个方法。2、下面这条语句一共创建

2017-11-19 00:16:39 740

转载 Java String、变量、类与对象、集合类、SSH

原文:http://blog.csdn.net/zhangerqing/article/details/8763583近期赶上春季招聘的小高潮,顺便发一些基础面试题出来。包含:基本语法,类,内部类,继承相关,异常,线程,集合,io,虚拟机等。本篇题目整理时参照了传智播客(http://www.itcast.cn)的一篇面试题,传说是张孝祥老师亲自写的,我本人很佩服他,也相信他出的题目有

2017-11-19 00:14:52 479

转载 Java最小堆解决TopK问题

原文:http://blog.csdn.net/xiao__gui/article/details/8687982TopK问题是指从大量数据(源数据)中获取最大(或最小)的K个数据。TopK问题是个很常见的问题:例如学校要从全校学生中找到成绩最高的500名学生,再例如某搜索引擎要统计每天的100条搜索次数最多的关键词。 对于这个问题,解决方法有很多:

2017-11-18 20:31:17 455

转载 Scala的协变covariant(+),逆变contravariant(-),上界(<:),下界(>:)

原文:https://my.oschina.net/xinxingegeya/blog/486671Scala的协变(+),逆变(-),上界(:)协变covariant、逆变contravariant、不可变invariant对于一个带类型参数的类型,比如 List[T],如果对A及其子类型B,满足 List[B]也符合List[A]的子类型,那么就称为covariance(协

2017-11-09 00:23:07 681

转载 Java-比较器(Comparable、Comparator)

原文:http://blog.csdn.net/itmyhome1990/article/details/8952722Comparable接口的作用之前Arrays类中存在sort()方法,此方法可以直接对对象数组进行排序。 Comparable接口可以直接使用java.util.Arrays类进行数组的排序操作,但对象所在的类必须实现Comparab

2017-11-05 16:16:18 523

转载 八大排序算法总结与Java实现

原文:https://itimetraveler.github.io/2017/07/18/%E5%85%AB%E5%A4%A7%E6%8E%92%E5%BA%8F%E7%AE%97%E6%B3%95%E6%80%BB%E7%BB%93%E4%B8%8Ejava%E5%AE%9E%E7%8E%B0/概述因为健忘,加上对各种排序算法理解不深刻,过段时间面对排序就蒙了。

2017-11-03 01:33:49 2528 1

转载 Redis中删除过期Key的三种策略

项目中有个接口要频繁调用查询数据库中的数据,为了降低数据库的压力,所以把一部分记录先缓存在redis中,对redis中的数据设置了期限。今天无意间发现一个问题,使用dbsize查询出来的数量,比实际缓存量要高一部分。用redis-cli keys '*'|wc -l1获取到的数据和实际情况是一样的。如下面两图:   对比发现,redis中key的总量为286957,比数据库

2017-10-20 17:11:09 6607

转载 spark将数据写入hbase以及从hbase读取数据

原文:http://blog.csdn.net/u013468917/article/details/52822074本文将介绍1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远

2017-10-20 16:20:19 1325

转载 Spark 下操作 HBase(1.0.0 新 API)

原文:http://wuchong.me/blog/2015/04/06/spark-on-hbase-new-api/HBase经过七年发展,终于在今年2月底,发布了 1.0.0 版本。这个版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API。虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark

2017-10-20 16:14:53 412

原创 HBase Connection Pooling

两种方法获得连接:Configuration configuration = HBaseConfiguration.create();ExecutorService executor = Executors.newFixedThreadPool(nPoolSize);(1)旧API中:         Connection connection = HConnectionManag

2017-10-20 14:02:25 746

转载 [转]Java中byte数组转换int时为何与0xff进行与运算

在剖析该问题前请看如下代码public static String bytes2HexString(byte[] b) {  String ret = "";  for (int i = 0; i    String hex = Integer.toHexString(b[ i ] & 0xFF);   if (hex.length() == 1) {    hex = '

2017-10-20 10:26:07 579

转载 Linux查看机器是几核的

原文:http://www.cnblogs.com/xd502djj/archive/2011/02/28/1967350.html几个cpumore /proc/cpuinfo |grep "physical id"|uniq|wc -l每个cpu是几核(假设cpu配置相同)more /proc/cpuinfo |grep "physical id"|grep "0"|wc

2017-10-19 08:52:36 6945

转载 计算机网络基础知识总结

原文:http://www.cnblogs.com/maybe2030/p/4781555.html计算机网络学习的核心内容就是网络协议的学习。网络协议是为计算机网络中进行数据交换而建立的规则、标准或者说是约定的集合。因为不同用户的数据终端可能采取的字符集是不同的,两者需要进行通信,必须要在一定的标准上进行。一个很形象地比喻就是我们的语言,我们大天朝地广人多,地方性语言也非常丰富,而且

2017-10-12 16:09:45 326

转载 Java DecimalFormat 用法(数字格式化)

import java.text.DecimalFormat;public class Test { public static void main(String[] args) { double pi=3.1415927;//圆周率 //取一位整数 System.out.println(new DecimalFormat("0").f

2017-10-12 15:05:12 2085

转载 Java并发编程:Callable、Future和FutureTask

原文:http://www.cnblogs.com/dolphin0520/p/3949310.htmlJava并发编程:Callable、Future和FutureTask  在前面的文章中我们讲述了创建线程的2种方式,一种是直接继承Thread,另外一种就是实现Runnable接口。  这2种方式都有一个缺陷就是:在执行完任务之后无法获取执行结果。  如果需要获取执行结果,

2017-10-09 17:06:18 294

转载 深入理解Java:注解(Annotation)自定义注解入门

原文:http://www.cnblogs.com/peida/archive/2013/04/24/3036689.html要深入学习注解,我们就必须能定义自己的注解,并使用注解,在定义自己的注解之前,我们就必须要了解Java为我们提供的元注解和相关定义注解的语法。元注解:  元注解的作用就是负责注解其他注解。Java5.0定义了4个标准的meta-annotat

2017-10-09 14:33:31 342

转载 Java通过BufferedWriter追加内容到文件末尾的几种常用方法

import java.io.BufferedWriter; import java.io.FileOutputStream; import java.io.FileWriter;

2017-09-29 12:55:24 643

转载 kafka offset判断

原文:http://blog.csdn.net/rongyongfeikai2/article/details/50727661在使用Spark streaming读取kafka数据时,为了避免数据丢失,我们会在zookeeper中保存kafka的topic对应的partition的offset信息(每次执行成功后,才更新zk中的offset信息);从而保证执行失败的下一轮,可以从特定的o

2017-09-28 12:43:08 452

转载 kafka 消费者offset记录位置和方式

原文:http://www.mamicode.com/info-detail-1969443.htmlkafka消费者在会保存其消费的进度,也就是offset,存储的位置根据选用的kafka api不同而不同。首先来说说消费者如果是根据javaapi来消费,也就是【kafka.javaapi.consumer.ConsumerConnector】,通过配置参数【zookeepe

2017-09-28 11:52:12 23674 1

转载 CentOS设置网络代理

设置全局代理,方法如下:修改 /etc/profile 文件,添加下面内容:http_proxy=http://username:password@yourproxy:8080/ftp_proxy=http://username:password@yourproxy:8080/export http_proxyexport ftp_proxy如果没有密码限制,则以上

2017-09-28 10:47:37 7533

转载 java中byte数组与int,long,short间的转换

package com.util;/** * * * 文件名称: com.born.util.ByteUtil.java * 文件描述: byte转换工具 * 版权所有: 版权所有(C)2001-2006 * 公 司: bran * 内容摘要: * 其他说明: * 完成日期:2011-7-18 * 修改记录0:无 * * * @version 1.0 * @

2017-09-22 14:55:10 659

原创 【原创】kafka安装与启动

在spark001、spark002、spark003三台机器上。版本:kafka_2.10-0.8.2.1.zip启动命令:nohup bin/kafka-server-start.sh start.sh config/server.properties > kafka.log 2>&1 &在spark001上:vim server.properties```

2017-09-20 21:52:37 2713

转载 Kafka文件存储机制那些事

原文:https://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了A

2017-09-20 21:36:24 345

原创 kafka概念

broker物理机器,一个broker管多个partitiontopic:一个topic可以由多个partitionpartition:一个partition对应一个broker为什么Storm需要一个消息队列?解决和其他系统耦合的问题。如何获取输入数据?- Storm没有自己的接收器- 而且从数据源拉(pull)可以更好地控制流量如何把输出结果

2017-09-20 20:49:14 327

转载 Linux平台卸载MySQL

原文:http://www.cnblogs.com/kerrycode/p/4364465.html 如何在Linux下卸载MySQL数据库呢? 下面总结、整理了一下Linux平台下卸载MySQL的方法。 MySQL的安装主要有三种方式:二进制包安装(Using Generic Binaries)、RPM包安装、源码安装。对应不同的安装方式,卸载的步骤有些不同。文章中如有不足或不对的地方,

2017-08-30 21:17:48 354

原创 Map<String, Map<String, String>>转String,再转回Map

import org.junit.Test;import java.util.*;import java.util.regex.Pattern;/** * */public class Test2 { @Test public void test() { Map testMap1 = new HashMap(); testMap1.

2017-08-28 13:24:20 8214 4

转载 Oozie和Azkaban的技术选型和对比

原文:http://blog.csdn.net/gaoqida/article/details/52165204Oozie和Azkaban的技术选型和对比一.Azkaban和Oozie的工作流程1.1 Azkaban工作流程Azkaban将需要操作的信息打包成zip文件发送给Server端,Server对用户的信息进行存储。用户在Web UI 或者通过HTTP Client

2017-08-23 17:25:28 1618

转载 Java transient关键字使用小记

原文:http://www.cnblogs.com/lanxuezaipiao/p/3369962.html1. transient的作用及使用方法      我们都知道一个对象只要实现了Serilizable接口,这个对象就可以被序列化,java的这种序列化模式为开发者提供了很多便利,我们可以不必关系具体序列化的过程,只要这个类实现了Serilizable接口,这个类的所有属

2017-08-19 17:01:47 249

转载 通过FastJson把字符串转换成JSON和Map和List对象处理json数据

原文:http://blog.csdn.net/jilongliang/article/details/42870951 Fastjson是一个Java语言编写的高性能功能完善的JSON库。Fastjson是一个Java语言编写的JSON处理器,由阿里巴巴公司开发。1、遵循http://json.org标准,为其官方网站收录的参考实现之一。2、功能qia

2017-08-18 13:06:10 533

转载 Java:String、StringBuffer和StringBuilder的区别

原文:http://blog.csdn.net/kingzone_2008/article/details/92206911 StringString:字符串常量,字符串长度不可变。Java中String是immutable(不可变)的。String类的包含如下定义:[java] view plain copy/** The 

2017-08-18 09:43:39 206

转载 搜索文本内容——Java代码的简单实现(修改版)

原文:http://blog.csdn.net/newjueqi/article/details/4210495【文章标题】搜索文本内容——Java代码的简单实现(修改版)【文章作者】曾健生【作者邮箱】zengjiansheng1@126.com【作者QQ】190678908【作者博客】http://blog.csdn.net/newjueqi【编程环境】JDK 1.6.0

2017-08-16 11:20:16 942

转载 scala.sys.process简介及实战

原文:http://itang.iteye.com/blog/1126777简介Ruby很方便的支持操作系统的调用,如: Ruby代码  irb> system 'dir'  irb> system 'ls -la'  irb> system 'curl -I http://www.iteye.com'  irb> result 

2017-08-15 17:27:16 2030

原创 scala implicit class使用

官方文档:http://docs.scala-lang.org/zh-cn/overviews/core/implicit-classes.html介绍Scala 2.10引入了一种叫做隐式类的新特性。隐式类指的是用implicit关键字修饰的类。在对应的作用域内,带有这个关键字的类的主构造函数可用于隐式转换。隐式类型是在SIP-13中提出的。用法创建隐式类时,

2017-08-15 16:55:04 1300 1

转载 Zeppelin on spark

原文:https://my.oschina.net/yjwxh/blog/620368摘要: Zeppelin是一个web版的notebook, 用于做交互式数据分析以及可视化,背后可以接入不同的数据处理引擎,包括spark,hive,tajo等。原生支持scala, shell, markdown,shell等。 内置spark 引擎,也可以通过配置方式对接到自己部署的spark 集群。

2017-08-14 21:36:02 900 2

转载 正排索引和倒排索引

倒排索引(英语:Inverted index),也常被称为反向索引、置入档案或反向档案,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式:一条记录的水平反向索引(或者反向档案索引)包含每个引用单词的文档的列表。一个单词的水平反向索引(或者完全反向索引)又包含每个单词在一个文档中的位置。后

2017-08-14 11:13:07 2733

原创 JVM虚拟机原理

虚拟机,就是一台虚拟的机器。它是一款软件,用来执行一系列虚拟计算机指令,大体上虚拟机可以分为系统虚拟机和程序虚拟机。系统虚拟机:例如Visual Box、VMare,它们完全是对物理计算机的仿真,提供了一个可以运行完整操作系统的软件平台。程序虚拟机:例如JVM,它专门为执行单个计算机程序而设计,在JVM中执行的指令为Java的字节码指令。无论是系统虚拟机还是程序虚拟机,在上面运行的软件

2017-08-12 21:21:31 509

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除