金溪的博客

好的开始是成功的一半，不要制定太长远的目标，同时不以战术的勤奋掩饰战略的懒惰，复杂思考简易行事，分而治之降低压力，以概率面对生活，时刻保持头脑清醒，防人之心不可无，广交慎择，顺其自然，近贤远佞，源代码

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载从架构图中学习大型网站的设计经验

1、WikiPedia 技术架构来自wikipedia的数据：峰值每秒钟3万个 HTTP 请求每秒钟 3Gbit流量, 近乎375MB 350 台PC 服务器。 GeoDNSA ：40-line patch for BIND to add geographical filters support to the existent views in BIND", 把用户带...

2018-01-19 10:32:57 574

转载大数据工程师技能图谱

最后欢迎大家访问我的个人网站：1024s

2018-01-19 10:05:13 364

转载数据挖掘工程师知识集

数据挖掘的技术过程：数据清理（消除噪音或不一致数据）数据集成（多种数据源可以组合在一起）数据选择（从数据库中提取与分析任务相关的数据）数据变换（数据变换或统一成适合挖掘的形式；如，通过汇总或聚集操作）数据挖掘（基本步骤，使用智能方法提取数据模式）模式评估（根据某种兴趣度度量，识别提供知识的真正有趣的模式）知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。...

2018-01-19 10:03:44 671

动态应用，是相对于网站静态内容而言，是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。　　大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，以保证网站应用...

2018-01-19 09:49:48 500

转载良人说

（1）不要轻易崇拜或者鄙视一个人人都有偶像，但请拥有你自己的个性。不要刻意去模仿一个人，因为你就是你，是唯一的，独一无二的,要有自信。也不要全盘否定一个人，每个人是有价值的，如果你不能理解他，也请学会接受。（2）别把钱看得太重不要抱怨自己现在工资低，银行存款4位数以下，看不到前途，现在要做的就是努力学习，即使你文凭再高，怎么把理论运用到实践还是需要一个很长的锻炼过程，社会永远是一所最博大的大学...

2018-01-19 09:22:09 433

转载关于思考的重新认识

一、关于不断问自己什么更重要及稀缺资源的思考：拿我目前从事的行业---软件开发来说，我最近在不断的问自己，对于阿猿来说什么是更重要的？刚开始的时候我也没有头绪，过了一段时间跟着笑来老师学习了另一个重要的概念---稀缺资源后，我有了思路，思考在阿猿界什么是稀缺的？我在不断的问自己，最终确定下来一个目前我理解到的稀缺资源——快速解决问题的能力；于是继续深入的思考如...

2018-01-19 08:45:14 354

转载 redis用作分布式锁

在 Redis 里，所谓 SETNX，是「SET if Not eXists」的缩写，也就是只有不存在的时候才设置，可以利用它来实现锁的效果，不过很多人没有意识到 SETNX 有陷阱！比如说：某个查询数据库的接口，因为调用量比较大，所以加了缓存，并设定缓存过期后刷新，问题是当并发量比较大的时候，如果没有锁机制，那么缓存过期的瞬间，大量并发请求会穿透缓存直接查询数据库，造成雪崩效应，如果有锁机制...

2018-01-18 16:07:49 350

转载如何比写代码做得更多

怎么做得更多呢？可以从以下几个方面着手：熟悉更多业务，不管是不是你负责的；熟悉更多代码，不管是不是你写的这样做有很多好处，举几个简单的例子：需求分析的时候更加准确，能够在需求阶段就识别风险、影响、难点问题处理的时候更加快速，因为相关的业务和代码都熟悉，能够快速的判断问题可能的原因并进行排查处理方案设计的时候考虑更加周全，由于有对全局业务的理解，能够设计出更好的方案2）熟悉端到端...

2018-01-18 15:20:16 262

转载 Linux中踢掉其它的用户

如果是用root用户去踢其它用户，相对来说简单点，通过命令： ps -ef 找到踢掉用户所启动的进程号，再通过命令： kill -9 pid 就可以将这个用户干掉了，如果是踢同一个用户在其它地方的登陆，如踢掉root用户在其它地方的登陆，需要先通过命令： ps -u root 查看相应的bash，这个时候就可以看到PID了，然后再通过 ...

2018-01-18 14:55:41 587

转载 Linux常用的几个命令

基本概念（1）IO重定向通常与FD（File Descriptor：文件描述符）有关，shell的FD通常为10个，即0~9（2）常用的FD有3个，为0（stdin，标准输入）、1（stdout，标准输出）、2（stderr，标准错误输出）（3）<用来改变读进的数据通道，>用来改变送出的数据通道cmd > file 把 stdout 重定向到 file 文件中；...

2018-01-18 14:53:24 307

转载 Java8 系列之Stream的基本语法详解

概述继Java 8系列之Lambda表达式之后，我们来了解Stream。Stream 是用函数式编程方式在集合类上进行复杂操作的工具，其集成了Java 8中的众多新特性之一的聚合操作，开发者可以更容易地使用Lambda表达式，并且更方便地实现对集合的查找、遍历、过滤以及常见计算等。聚合操作为了学习聚合的使用，在这里，先定义一个数据类：public class Stude

2018-01-17 17:05:03 449

转载 Redis的内存回收机制

Redis的内存回收机制主要体现在一下两个方面：删除过期时间的键对象删除过期键对象：多行删除用于当客户端读取带有超市属性的键时，如果已经超过键设置的过期时间，会执行删除操作并返回空。 2.定时任务删除：Redis内部维护一个定时任务，默认每秒运行10次。定时任务中删除过期键逻辑采用了自适应算法，根据键的过期比例，使用快慢

2018-01-16 17:11:48 3431

转载解Bug之路-记一次JVM堆外内存泄露Bug的查找

原文：https://my.oschina.net/alchemystar/blog/1603817

2018-01-16 09:21:08 769

转载 SWOT方法

SWOT：Strengths Weakness Opportunity Threats，又称态势分析法或优劣分析法，用来确定企业自身的竞争优势（strength）、竞争劣势（weakness）机会（opportunity）和威胁（threat）。最后欢迎大家访问我的个人网站：1024s...

2018-01-15 13:45:37 594

转载 ActiveMQ“连接池”使用

ActiveMQ提供了PoolConnectionFactory、PoolConnection等实现连接池功能，连接池是提供对connection、session、producer的“池”。（1）首先connection、session、producer的创建会消耗大量的系统资源。（2）其次consumer有自己的机制，“池”没有存在的价值。实现原理PoolConnection...

2018-01-15 10:50:48 882

转载 ActiveMQ简单介绍以及安装

ActiveMQ是一款开源的JMS具体实现。消息中间件（1）将数据从一个应用程序传送到另一个应用程序，或者从软件的一个模块传送到另一个模块。（2）负责建立网络通信的通道，进行数据的可靠传送。（3）保证数据不重发，不丢失。（4）能够实现跨平台操作，能够为不同操作系统上的软件集成数据传送服务。MQActiveMQ是由Apache出品的开源消息总线，完全支持JMS1.1和J2...

2018-01-15 10:16:56 292

转载 aop:aspectj-autoproxy,SpringAOP拦截Controller，Service实现日志管理（自定义注解方式）

可以用拦截器，也可以用aop。第一步定义注解： @Target({ElementType.PARAMETER, ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface SystemControllerLog { St...

2018-01-15 09:14:27 642

转载微信跳一跳辅助

从网上下载了的代码，进行了部分修改。需要使用模拟器在电脑上安装微信，再通过鼠标右键点击跳越。 import java.awt.AWTException;import java.awt.FlowLayout;import java.awt.Robot;import java.awt.event.InputEvent;import java.awt.event.MouseAdap...

2018-01-12 10:28:59 5192 3

转载 TimeUnit

作用：表示给定单元粒度的时间段，它提供在这些单元中进行跨单元转换和执行计时及延迟操作的实用工具方法。常量MICROSECONDS 微秒MILLISECONDS 毫秒NANOSECONDS 毫微秒SECONS 秒MINUTES 分钟HOURS 小时DAYS 天主要接口long convert(long duration,TimeUnit un...

2018-01-11 14:47:58 781

转载龙果支付系统

这是一款国内开源的互联网支付系统，其核心目标是汇聚所有主流支付渠道，集支付、资金对账、资金清结算与一体的支付系统。核心业务流程（1）支付流程（2）对账流程（3）结算流程数据表清单（1）rp_account_check_mistake对账差错表（2）rp_account_check_batch对账批次表（3）rp_accoun...

2018-01-11 14:14:01 2045

转载使用webmagic爬取csdn用户个性签名

思路：首先爬取一个用户的个人信息，然后根据该用户的好友关系去爬取好友信息，依次类推，爬取所有用户。根据获取的用户id，访问blog主页获取个签名。package com.cuihs.mySpider;import org.jsoup.select.Elements;import us.codecraft.webmagic.Page;import us.codecraft.w...

2018-01-11 09:35:13 436

转载 gRPC 1.8.4 发布，Google 高性能 RPC 框架

http://www.oschina.net/news/92321/grpc-1-8-4-released

2018-01-11 08:32:50 482

转载响应式编程

有一堆函数能够创建任何流，也能将任何流进行组合和过滤。这正是“函数式”的魔力。一个流能作为另一个流的输入，甚至多个流可以作为其它流的输入。你能合并两个流，还能通过过滤一个流得到那些你感兴趣的事件。你能将一个流中的数据映射到一个新的流中。一个流就是一个将要发生的以时间为序的事件，它能发射出三种不同的东西：一个数据值，一个错误或者一个完成的信号。比如说，当前按钮在的窗口或视图关闭时，“单击”事件流...

2018-01-10 09:24:16 279

转载 Dubbo 3.0 发布预告，将以 Streaming 为内核

http://www.oschina.net/news/92288/dubbo-3-0-will-release

2018-01-10 08:53:29 2490

原创比较喜欢的左右铭

人一辈子，有那么一百多件自己应该去做的事情。可是，只有十几件是自己喜欢的事情。这十几件喜欢的事情当中，只有一两件是可以体现自身价值的。万事皆因忙中错，好人半自苦中来。知识如百川、而我心如海、随岁月沉淀、凭水滴石穿之韧性、富我人生！业精于勤，荒于嬉。梦想，就是一种让你一想到坚持就是幸福的东西！能干的人解决问题。智慧的人绕开问题努力-是为了将运气成分降到最低每当你在感叹，...

2018-01-09 17:30:07 923

转载 Eclipse中debug模式下显示Variables全部值

调试程序时，有时我们需要显示变量的所有值；比如要显一个大数组中的全部变量值；默认情况下Eclipse只显示大约10000个字符；可以通过下面的设置修改显示个数上限（也可以没有上限）window->show view ->other->debug->Variables进入Variables窗口在显示的部分（下部分）右键鼠标，选择Max Length可以...

2018-01-09 10:56:46 13516 1

转载 @Override must override a superclass method 问题解决

JDK5认为Override重载的是覆盖父类方法，而JDK6则将覆盖父类方法与实现接口方法，都定义为Override superclass。因此只要是实现接口方法的地方写了@Override，JDK5都会报错。解决方法：把右边的Compiler level修改为1.6. 最后欢迎大家访问我的个人网站：1024s...

2018-01-09 09:26:59 327

转载 No compiler is provided in this environment. Perhaps ....

##Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile办法：Installed JREs，使用本机的JDK。##No compiler is provided in this environment. Perhaps you are running on a JRE rather...

2018-01-08 14:44:04 357

转载 java查看出问题的server进程，相关信息查看

##查看GC情况jstat -gcutil pid 1000 ,1000是时间间隔，对应1s##查看堆信息jmap -heap pid >heap.log##查看对象数量大小jmap -histo pid >histo.log##查看dumpjmap -dump:format=b,file=dump.log pid

2018-01-08 14:18:02 269

转载处理器漏洞Meltdown和Spectre

Google Project Zero 和奥地利格拉茨技术大学等机构的研究人员正式披露了三个处理器高危漏洞，分别编号为 CVE-2017-5753（Variant 1）、CVE-2017-5715（Variant 2）和 CVE-2017-5754（Variant 3），前两个漏洞被称为 Spectre，后一个漏洞被称为 Meltdown，Spectre Variant 1 影响 AMD，英特尔和...

2018-01-05 15:09:55 1117

转载 svn 的merge命令

合并包含两点，首先是2个版本库树比较，然后将区别应用到本copy。这个命令包括3个参数：（1）初始的版本树（通常叫做比较的左边，FROM）（2）最终的版本树（通常叫做比较的右边，TO）（3）一个接收区别的工作copy（通常叫做合并的目标，work copy）其实使用这个功能后过程是把To的版本和From版本进行对比，然后把之间的差异合并到当前版本中。 1.Merg...

2018-01-05 14:17:46 1289

转载 Java多线程：ThreadPoolExecutor

ThreadPoolExecutor是JDK并发包提供的一个线程池服务，基于ThreadPoolExecutor可以很容易将一个Runnable接口的任务放入线程池中。 public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, ...

2018-01-05 09:53:57 354

转载 java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binaries

查看hadoop源码发现有一段： public static final String getQualifiedBinPath(String executable) throws IOException { // construct hadoop bin path to the specified executable String fullExeName = HA...

2018-01-04 16:22:52 502

转载 maven加入json-lib.jar报错Missing artifact net.sf.json-lib:json-lib:2.4:compile

net.sf.json-lib json-lib 2.4 报错误：Missing artifact net.sf.json-lib:json-lib:jar:2.4:compile原因：json-lib是需要区分jdk版本的，pom.xml中的配置应加上标签classifier指定jdk版本，如用jdk15修改为： n

2018-01-04 11:28:26 627

转载 markdown

markdown是一种轻量级标记语言，它允许人们“使用易读写的纯文本格式编写文档”，然后转换成有效的XHTML（或者HTML）文档。这种语言吸收了很多在电子邮件中已有的纯文本标记的特性。常用语法（1）标题标题使用不同数量的#来标识是什么层级的，可以对应于HTML里厕所H1-H6.（2）图片我们可以使用下面的语法，添加一个图片。![Alt text] (/path/to/i...

2018-01-03 14:29:02 339

转载 maven pom.xml详解

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/mave...

2018-01-03 11:13:33 311