自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

笨狐狸

好奇心是驱使我看世界的第一要素

原创 ClassLoader中getSystemResource与getResource的区别

在开发过程中碰到某些环境无论如何都加载不到资源,而某些环境下却总能加载到资源。事出蹊跷,为了搞清楚这个问题,来到代码中查看原因,发现代码如下: URL url = ClassLoader.getSystemResource(folder); 断点后folder=templates,无论如何都...

2019-11-26 17:34:48

阅读数 128

评论数 0

原创 pig中group时数据倾斜问题

在使用pig时遇到了数据倾斜问题。某些数据能够正常计算,但是对于另一些数据reducejob运行至某个地方会报错GC overhead limit exceeded,实际上就是OOM了。 首先分析问题是什么,观察到计算错误的数据并没有被计算完,且每次日志是停在固定位置的,从日志内容可以看出,GC...

2019-07-26 15:06:00

阅读数 170

评论数 0

原创 本地ip能够访问,但是公网ip不能访问的一般解决方法

由于需要写了个程序,分客户端和服务器端,结果上实际环境一测试,发现通过127.0.0.1能够访问,但是通过公网ip却不能访问。 遇到这种问题,一般的解决办法如下: 1. 检查防火墙是否有禁端口。在测试阶段可以先关闭防火墙,等到解决问题之后再设置规则。 2. 检查IP是否绑定到所有ip可访问,...

2019-01-06 11:17:54

阅读数 6877

评论数 0

原创 如何做出重要决定

  事情的起因是最近换工作,拿了两个offer,由于两个offer的机会都非常好,以至于我纠结了整整一周去考虑究竟去哪。  最初画了SWOT图,各种分析好坏优劣,包括期间hr,猎头的轮番洗脑,让我对两个有差异的offer产生了纠结的状态,一会觉得A好,一会觉得B好,长期的纠结状态,的确会损伤人的精...

2018-03-07 16:40:21

阅读数 3344

评论数 0

原创 磁盘变raw,双击提示需要格式化的解决办法

我有约40g的文件在d盘,其中不乏重要文件。在双系统切换过后发现win10下的d盘格式变为raw,双击提示需要格式化。这时候内心是崩溃的。 尝试了约10种备份恢复软件。 首当其冲的是diskgenius,最新版本非常容易的就看到了整个盘的文件,并且按照原来的格式组织,非常贴心。结果备份时候发现,所...

2017-12-28 13:43:40

阅读数 9404

评论数 0

原创 disruptor源码解读

disruptor经过几年的发展,似乎已经成为性能优化的大杀器,几乎每个想优化性能的项目宣称自己用上了disruptor,性能都会呈现质的跃进。毕竟,最好的例子就是LMAX自己的架构设计,支撑了600w/s的吞吐。   本文试图从代码层面将关键问题做些解答。   基本概念   Disruptor:...

2017-12-19 14:19:40

阅读数 3331

评论数 0

原创 高并发风控技术解密(下)

如何灵活高效的接入?平台化  •搭建平台而不是搭建项目——做一个“淘宝”而不是做只针对某几项业务的网站  •从业务中抽象及通用——如果一种业务有可能在今后重复出现,那就将其模块化,系统化(如批处理系统),发展成为平台能力动态化  •流程动态化——不同的业务类型对应的流程可以随意调整,无须调整代码 ...

2017-12-14 14:28:58

阅读数 4454

评论数 1

原创 高并发风控技术解密(上)

风控在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的风控建设谈谈风控的技术。(本文来源于内部分享PPT,限于篇幅,一些细节没能交待完整)   风控架构演进   经过1年多风控系统的建设,已经将公司内部风控系统从业务代码为主的风控架构改造...

2017-12-13 21:57:51

阅读数 9521

评论数 2

原创 使用u盘装系统解决unable to copy your files. Please check your USB device

使用windows7 USB download tool安装系统启动盘,发现报错We were unable to copy your files. Please check your USB device and the selected ISO file and try again. 多番查阅...

2017-11-07 20:19:37

阅读数 3809

评论数 0

原创 hbase的架构及设计

hbase是强一致性的海量数据库,无论是读写性能,或是数据容量,还是一致性方面,hbase都有非常优秀的表现。 本文从架构方面探讨hbase的主要设计,从而在需要hbase的场合能够更好的设计和判断。

2017-09-25 16:07:20

阅读数 2689

评论数 0

原创 从怎样解题到怎样解决问题

波利亚的《怎样解题》是本很好的解题思路和方法的启蒙书。全书围绕着遇到类似数学题目时如何去解题来教导。并给出一系列的步骤和方法:   1. 理解题目    2. 找出已知数据和未知量之间的联系,如果找不到直接联系,考虑辅助题目,最终得到一个解题方案    3. 执行方案    4. 检查解答...

2017-08-12 00:23:36

阅读数 2592

评论数 0

原创 如何学习TCP协议

TCP协议目前是事实上的网络基础。许多更高层的应用协议HTTP,FTP都基于TCP。 TCP协议的学习可以说枯燥无比,尤其是学生阶段,根本不知道用在什么地方,根本不知道重要性是什么。事实上是,基于目前的网络发展和分布式发展,TCP简直就是基础中的基础。许多网络的问题,配置,入侵,防御乃至架构,都...

2017-07-15 20:00:44

阅读数 3433

评论数 3

原创 kafka的模型诠释

kafka是目前市场上比较流行的消息框架。本篇文章尽力去诠释kafka模型背后的设计原理,从而更加深刻的理解kafka,在使用过程中尽可能少的入坑。 三个角色: producer:生产者。负责发送消息到kafka集群 broker:kafka集群。负责保存消息 consumer:消...

2017-07-15 08:27:32

阅读数 2414

评论数 0

原创 如何做性能测试

性能优化的常见概念 吞吐量(TPS, QPS):简单来说就是每秒钟完成的事务数或者查询数。通常吞吐量大表明系统单位时间能处理的请求数越多,所以通常希望TPS越高越好 响应时间:即从请求发出去到收到系统返回的时间。响应时间一般不取平均值,而是要去掉不稳定的值之后再取均值,比如常用的90%响应时间...

2017-06-08 22:40:30

阅读数 17737

评论数 3

原创 zookeeper入门系列-理论基础-zab协议

上一章讨论了paxos算法,把paxos推到一个很高的位置。但是,paxos有没有什么问题呢?实际上,paxos还是有其自身的缺点的: 1. 活锁问题。在base-paxos算法中,不存在leader这样的角色,于是存在这样一种情况,即P1提交了一个proposal n1并且通过了prepare阶...

2017-04-14 11:49:43

阅读数 5523

评论数 0

原创 zookeeper入门系列-理论基础-分布式事务

上一章我们了解了zookeeper到底是什么,这一章重点来看zookeeper当初到底面临什么问题?而zookeeper又是如何解决这些问题的? 实际上zookeeper主要就是解决分布式环境下的一致性问题。那么解决这个问题到底有哪些难点呢?我们一步一步来阐述和推理这个过程。 分布式事务 2PC ...

2017-04-05 13:55:36

阅读数 16324

评论数 1

原创 zookeeper入门系列-概述

zookeeper可谓是目前使用最广泛的分布式组件了。其功能和职责单一,但却非常重要。 在现今这个年代,介绍zookeeper的书和文章可谓多如牛毛,本人不才,试图通过自己的理解来介绍zookeeper,希望通过一个初学者的视角来学习zookeeper,以期让人更加深入和平稳的理解zookeep...

2017-04-01 10:44:59

阅读数 17739

评论数 3

原创 我读程序员的思维修炼

程序员的思维修炼是本很好的小册子,200多页,但强调的重点却挺有意思。    一开始的比喻就非常有趣:如果把人比作是计算机,那么我们的所有感官就是I/O设备,整个脊柱就是I/O总线;大脑是双核的,即左半脑和右半脑,分别工作在L模式和R模式,左右大脑之间的连接就是胼胝体,胼胝体是左右大脑的高速连接通...

2017-03-17 16:02:46

阅读数 2180

评论数 0

原创 如何解决无法定位程序输入点ucrtbase.terminate于动态链接库api-ms-win-crt-runtime-|1-1-0.dll

简单描述下同该问题奋战一天的成果。 多个程序报这个错无法定位程序输入点ucrtbase.terminate于动态链接库api-ms-win-crt-runtime-|1-1-0.dll,查到说需要安装Visual C++ 2015 Redistributable。见https://www.zhi...

2016-11-06 16:56:46

阅读数 129404

评论数 22

原创 公司禁端口环境下上网

经常会遇到公司封禁端口,上网需要通过http代理才能出去的情况。而这个http代理如果不能支持科学上网,那我们就悲剧了。 这种情况一般有好几个办法。 最常见的也最简单的,自己在外外面找台服务器,搭一个ss的服务端,并且将服务端的端口制定为公司不封禁的端口,再在本机通过ss客户端连接就能...

2016-10-26 18:48:17

阅读数 5208

评论数 0

原创 dns及cdn原理

DNS及CDN原理

2016-08-14 15:39:28

阅读数 2133

评论数 0

原创 手动做UTF-8编码的转换

看到一个题目:不使用 String.getBytes() 等其他工具类/函数完成下面功能  public static void main(String[] args) throws IOException { String str = "Hello, 我们是中国人。"...

2016-07-02 09:02:50

阅读数 1882

评论数 0

原创 spring mail发送TLS邮件

使用spring mail发送邮件相当简单,归结起来是一段代码+一段配置 @Autowired protected JavaMailSender mailSender; public SendResult send(Li...

2016-04-30 15:47:05

阅读数 1733

评论数 0

原创 spring data JPA

最近使用了spring data jpa来完成数据访问层的实现。感觉比较强大,也比较复杂,中间还有不少限制。 话说数据库sql的应用有点像打怪升级,一点一点不断增加难度。 文章从4个层次讨论了jpa的用法,层层递进,希望能够帮到使用中的人

2016-04-30 15:16:00

阅读数 20008

评论数 0

原创 HTTPS和证书原理

安全的原理其实非常多,基础的诸如数字签名,加密解密等等,这边不会细讲,会略微提一下。主要讲讲常见的web相关的安全原理,比如HTTPS,证书,双向证书等。   关于对称加密和非对称加密:对称加密算法比非对称加密要快,但是对称加密要求密钥对等,这会带来几个问题:一是密钥传输过程中容易被截获,从而导...

2014-10-15 15:46:57

阅读数 9671

评论数 4

原创 webbrowser获取跨域的sessionStorage的值和cookie的值

这是个很麻烦的问题。   我需要yo

2014-06-15 10:04:46

阅读数 6043

评论数 1

原创 C#项目中的一些问题

http://blog.51cto.com/zt/584

2014-04-21 10:09:33

阅读数 1975

评论数 0

原创 topK问题

关于海量topk问题,已经有无数文章讨论过,比如这里的程序员编程艺术:第三章续、Top K算法问题的实现或者算法探讨——Top K算法详细解析。   其问题本身比较容易,就是在一组海量数据中求得出现次数最多的k个数据。   对于这个问题,我们的思路应该如何较好呢?   简化问题,将k首先...

2014-03-27 17:19:57

阅读数 2110

评论数 0

原创 终极生产者消费者问题

www.infoq.com/cn/articles/High-Performance-Java-Inter-Thread-Communications?utm_source=infoq&utm_medium=popular_links_homepage

2014-03-14 08:20:24

阅读数 1344

评论数 0

原创 spring的@ResponseBody乱码问题

参考:http://blog.csdn.net/jpr1990/article/details/7710110

2014-03-11 13:25:49

阅读数 1095

评论数 0

原创 创世纪:spring之初(第三日)

johnson将spring的主框架与运行流程创造完毕之后,发觉spring中提供了许多灵活扩展的地方。于是johnson准备在第三日将这些灵活扩展的用法公布出来。   1. BeanPostProcessor。BeanPostProcessor提供了bean创建完成后的扩展接口,当你需要在bea...

2014-01-17 10:46:56

阅读数 1597

评论数 3

原创 创世纪:spring之初(第二日)

头一日,johnson完成了一个spring的整体框架。   第二日,johnson准备实际去处理前面遗留的问题。比如spring的容器初始化过程refresh。如图,johnson将这个过程分为很多子过程,这些子过程都在围绕着如何将bean载入这一宏伟的目标而努力。 代码如下,johnson...

2014-01-17 10:46:30

阅读数 1188

评论数 0

原创 创世纪:spring之初(第一日)

第一日,上帝创造了光与暗;    第二日,上帝创造了水和空气;    第三日,上帝创造了植物;    第四日,上帝创造了日月星辰;    第五日,上帝创造了鱼和鸟;    第六日,上帝创造了飞虫走兽和人;    第七日,上帝休息。    从上帝造人可以看出来,上帝非常聪明,他没有在第一天先造人……...

2014-01-17 10:46:01

阅读数 1372

评论数 0

原创 java基础中一些值得聊的话题(加载篇)

在开始java的类加载旅程之前,先普及一下c的链接方式。    我们假设最初的程序10w行代码都写在一个文件里,那么,我们完全可以不需要链接的过程。但是,从可维护性来讲,上面的假设完全不可接受。因此,需要诞生链接器帮我们将不同的文件组合到一块。

2014-01-12 20:45:50

阅读数 1835

评论数 0

原创 java基础中一些值得聊的话题(并发篇)

java的并发体系也是非常庞大,而且注意点非常多。这里可能不会面面俱到(否则就是写书了)。   之前写过一篇关于java并发方式的文章。   这里以一个从重到轻的方式来详细聊聊java的并发。   Synchronized和ReentrantLock   最常见的同步方式是synchron...

2014-01-06 20:03:34

阅读数 1240

评论数 0

原创 又一枚神器:nginx

一直听说过nginx的大名,也自己装过,但是未直接使用其各种牛X的功能。    今天试用了一下,只能用两字感叹:牛逼!比如它提供的配置检查功能,真是贴心极了,又比如我想要的静态内容浏览器端缓存功能,动态内容转发功能,都极其简单,不得不感叹啊。    我们先来看看nginx的各种能力,然后列出一些收...

2014-01-05 11:42:44

阅读数 1844

评论数 0

原创 linux下一些常见的配置和命令

vsftpd安装配置: vsftpd安装配置本来不难,但是我遇到了一些问题,顺便记录下来。 1. 安装 #apt-get install vsftpd 2. 添加账号#useradd -d /wwwroot -s /sbin/nologin pwftpwwwroot -s /sbin/...

2014-01-03 18:55:23

阅读数 1184

评论数 0

原创 java基础中一些值得聊的话题(内存篇)

在java编程中,内存的问题要么不是问题,要么就是极大的问题。    让我们来看看这些问题包括什么?首先,一个会遇到但是比较难缠的问题是OOM(OutofMemory),跟OOM可能相关的问题是内存泄露;另一个关于内存的问题是GC(garbage collection)。    我们为什么要关注O...

2014-01-03 17:14:39

阅读数 1149

评论数 0

原创 收集一些开源项目的架构图

本文视图以最简短的语言解释各个开源项目的架构,图片均来源于网络   spring   spring的核心能力来源于ioc和aop。如果要一句话讲清这两个能力,那么可以这么描述,ioc就是一个大工厂,aop就是动态代理。   如果你不敢相信一个工厂模式有这么大的威力,说实话我也不敢相信,但是它发展至...

2014-01-02 22:11:21

阅读数 2450

评论数 0

原创 java基础中一些值得聊的话题(可以当做面试题)

现在写没有见过的程序基本上都是网上查找,然后copy,这样找个人培训一下也能够做到,那么你的核心竞争力到底在哪呢?答案就是基础。基础牢固的童鞋更容易快速上手和掌握理解新东西。    1. equals和hashcode问题。    在effective java中有这样一条:覆盖equals时...

2014-01-01 22:16:31

阅读数 1831

评论数 0

提示
确定要删除当前文章?
取消 删除