- 博客(23)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 【转载】分页查询高性能实现
一、【转载】你知道MySQL的Limit有性能问题吗原文链接：你知道MySQL的Limit有性能问题吗_lonely_bin的博客-CSDN博客_limit性能问题MySQL的分页查询通常通过limit来实现。MySQL的limit基本用法很简单。limit接收1或2个整数型参数，如果是2个参数，第一个是指定第一个返回记录行的偏移量，第二个是返回记录行的最大数目。初始记录行的偏移量是0。为了与PostgreSQL兼容，limit也支持limit # offset #。问题：对于小的偏移量，.
2021-11-11 16:39:51
202
转载 【转载】Murmurhash介绍与实现
MurmurHash是一种非加密型哈希函数，适用于一般的哈希检索操作。由Austin Appleby在2008年发明，并出现了多个变种，都已经发布到了公有领域(public domain)。与其它流行的哈希函数相比，对于规律性较强的key，MurmurHash的随机分布特征表现更良好。---摘自wiki Redis在实现字典时用到了两种不同的哈希算法，MurmurHash便是其中一种（另一种是djb），在Redis中应用十分广泛，包括数据库、集群、哈希键、阻塞操作等功能都用到了这...
2021-01-27 09:24:25
860
1
原创 高可用互联网系统稳定性建设实践指南
1.概述 自己以及带领团队曾经负责较多不同的互联网服务系统，如几十万应用数&亿级流量的云计算平台、年营收将近千亿的广告系统、亿级用户千万级日活的用户系统、亿级交易额的交易系统、算法在线离线工程系统等相关系统或子系统，整体而言无重大故障，达到定级故障数也很少，线上稳定性保障在一个不错的水位上。阶段性总结下我自己从团队技术负责人视角做好稳定性建设的实践性思考和简要思路，为感兴趣的技术同学提供一个实践指南。 我的团队稳定性建设思路包括了3大技术要素：良好的系统架构和实现、完...
2020-12-29 18:57:49
2313
原创 【技巧随笔】mybatis调试器中查看生成Sql
mybatis 数据库配置场景，有时需要查看具体生成mybatis sql以方便调试。可以开启日志的方式打印，但最方便方式还是直接断点查看。下面介绍具体断点位置以及查看生成sql的方式。1、在SqlSessionTemplate的invoke函数图中位置打上断点2、执行到断点时，在idea的调试窗口中如图变量 cache的key值最右侧的view，打开可看到生成的sql...
2020-09-18 21:02:30
3871
原创 Java8 的lambda使用参考文章一览
记录下几篇对Java8 的lambda使用讲解不错文章1、JDK8新特性一览2、Java8 lambda表达式10个示例3、理解、学习与使用 JAVA 中的 OPTIONAL4、collectors的使用5、oracle官方文档lamdba表达式方法引用...
2019-09-22 17:22:00
139
转载 几种压缩算法原理介绍
1 RLERLE 又叫 Run Length Encoding ，是一个针对无损压缩的非常简单的算法。它用重复字节和重复的次数来简单描述来代替重复的字节。尽管简单并且对于通常的压缩非常低效，但它有的时候却非常有用（例如， JPEG 就使用它）。1.1 原理图 2.1 显示了一个如何使用 RLE 算法来对一个数据流编码的例子，其中出现六次的符号‘ 93 ’已经用 3 个字节来代替：一个标记字节（‘ ...
2018-02-12 18:44:36
4215
原创 互联网服务架构设计漫谈（一）—设计考量点总览
本文着重介绍在互联网应用服务器端的架构设计中需要关注的设计考量点，提供一个总览性认知。首先我们需要知道：不同类型的应用、不同用户规模和阶段的应用在架构设计的考量点都是有差异的，架构设计的挑战以及侧重点也都存在差异，具体问题需要具体对待。本文会介绍各种可能的考量点，提供每种考量点各类可能的解决思路，给读者提供一个宏观的视野，后续会陆续单独写文章对本文中提及的思路展开详解。业界有很多不同维度架构设计的理论和术语，例如CAP理论、高可用性、服务治理等概念。本文从我自己多年的实践经验的角度，提供更加贴合实战的理解
2017-05-31 00:16:24
2264
原创 Scala和Java的语法差异
Scala作为基于jvm的语言，可以直接复用所有java的库资源，同时其具备函数式编程的特性以及脚本语言的特性，语法更加简洁。scala具备面向对象和函数式编程理念的混合体（这点和python有点像），从编写简单脚本到建立大型的系统，都是适用的。目前spark、kafaka等流行的大数据处理的软件都是由scala编写。本文从java工程师的角度，介绍一些scala语言和java语言差异点
2017-03-29 20:58:15
8041
原创 人工智能商业应用成功的六大必要条件
本文会整合分享下国内外很多专家分析总结出了人工智能商业成功的六大必要条件。本文来源于杨强教授、华先胜、陈雨强等专家分享的内容，仅做少量的整合，是整合转载。包括了商业模式、边界清晰、大数据、外部反馈（用户）、计算资源、懂人工智能的跨界人才（擅长应用和算法）等六大必要条件
2017-03-15 20:16:58
3171
原创 机器学习模型应用以及模型优化的一些思路
本文会介绍如何应用机器学习模型来构建一个智能化应用的通用的过程以及过程中每个环节一些实践性的思路，包括问题界定和定义、 label标注的定义、 数据样本的筛选和构造、 选择机器学习算法、 确定模型性能的度量方式、模型优化、（包括数据分析可视化、特征工程、算法调参、bad case 分析）、设计模型应用的策略、 设计实验以及确定评估指标、 模型线上应用（包括线上以及离线特征导入以及线上特征提取、模型线上化、离线和线上模型性能确认、策略研发等）、业务效果评估等
2017-03-09 19:55:45
29368
3
原创 Spring零xml配置使用详解
常规spring项目中，会采用纯xml或者xml和注解配合使用的配置方式。在spring 3.0版本以后就引入 @Configuration 和AnnotationConfigApplicationContext 等实现，可以支持纯java方式配置的spring 容器，不需要任何xml配置。本文介绍如何搭建一个零配置的spring 容器项目。
2017-03-05 18:22:46
3412
原创 策略类服务的设计实践
先前基本在做功能业务性产品服务的研发，近期有机会主导设计研发多个策略模型类服务，切身的体会到策略类服务相对于常规功能性产品服务在架构设计上存在较多不同之处。本文会针对这些不同之处，介绍我自己针对策略模型类服务的设计实践。针对策略类服务的特点，架构师要通过合理程序设计来加速策略实验的迭代周期、保障数据流的稳定性、提升策略升级和测试效率。
2017-02-23 22:17:45
1227
原创 基于spark的大数据提取校验框架
针对数据提取中数据校验和错误定位、缺失值填充等通用问题，我开发了基于spark和python语言的数据提取校验框架wind-fe。 wind_fe数据提取框架将特征提取（数据提取）过程中自动化校验、缺失填充、调试、join产出、批量回溯、自动调度运行、自动添加分区表等通用环节抽象复用。基于这个框架，开发者可以用较少的开发成本获取到自动化校验过的特征数据，同时节约其他数据提取通用环节开发成本。该框架在自动化校验环节也保留扩展点，可以在一次数据校验任务中完成扩展校验，校验所需要的额外的资源消耗较少。该框架在我们
2016-10-10 20:57:24
3137
2
转载 向前兼容和向后兼容
经常有人把向前兼容和向后兼容混淆了。其实，这主要是由于中英文化差异引起的。区分不了时候，想想其对应英文，就可以清晰区分了 向前兼容的英文为 Forwards Compatibility，Forward有“将来”的含义。因此向前兼容就是指：以前的版本支持现在版本生成的数据，现在的版本支持以后的版本数据。比如你的CD盘可以放在CD光驱播放，也可以放在DVD光驱播放。
2016-02-25 13:48:18
7668
1
原创 Spark 入门篇之spark&spark sql
Spark 入门篇1 概述 Spark是一个通用的快速的大数据处理引擎，是类似于hadoop的map reduce大数据并行处理引擎。它的数据源可以是hdfs、cassandra、hbase等，除常规编程模式外，它还是支持sql使用方式。Spark支持streaming流式计算（秒级延迟）、机器学习库MLib、图计算GraphX、Bagel（Google的pregel
2016-02-17 20:40:22
4112
原创 乱码问题详解系列（1）
一、 乱码问题概述 编程中乱码问题，一般会出现在编写涉及网络传输存储类的程序中，当传输存储了汉字类的信息后，在最后读取查看时，汉字变为了无法辨识的空白、无意义字符、非预期的偏僻汉字、问号等。程序员基本都会碰到乱码问题，根据所处的编码场景，解决的方式也多种多样。常见乱码出现场景有：1） 代码中有汉字注释，在vi、eclipse等编辑器中打开时变为乱码。
2014-06-25 13:01:28
1257
转载 随机salt二次加密
1 加Salt散列2 ASP.NET 2.0 Membership中与密码散列有关的代码 声明：本文所罗列之源代码均通过Reflector取自.NET Framework类库，引用这些代码仅出于学习和研究的目的。 其实，对密码进行散列存储不是一个新鲜话题了，解决起来也不是很难，但很多人还是不大了解。这个小文只是强调一下“加Salt散列”这个简单的技术，并给出ASP.NET Me
2011-12-21 20:09:45
1325
原创 java沙盒安全架构总结
java沙盒安全架构总结 最近因项目需要，较深入了研究了下java的沙盒机制，相当强大。官方的安全架构、权限说明以及api文档中信息非常详细。研究后简单总结下。 Java的沙盒机制主要根据代码的url（位置）和签名为其赋予不同的权限，jdk中已对系统敏感性操作都会提前检测权限，如线程创建，文件系统读写等，从而可以构建出运行于JVM的各种不同的沙盒环境
2011-12-07 21:23:53
2311
原创 Android开发中StackOverflowError错误实例分析
Android开发中StackOverflowError错误实例分析一、概述 我在一个复杂的layout嵌套较多的android界面，碰到了java.lang.StackOverflowError这个Fatal Exception，app程序crash退出。这个错误出现的比较奇怪，在我做技术调研的时候，这个界面是放在单独的一个程序中展示的，工作很正常，没有出现这个严重错误,当将其嵌入到
2011-12-07 21:09:36
13362
1
原创 mysql-front中文乱码问题的解决方案
最近在使用mysql-front 来管理mysql 数据库，碰到了一个mysql-front中显示的中文数据为乱码的问题，网上找了好多方案，都没能解决。最后终于找到了一个可行的方案：1.在创建数据库的时候，字符集选择为Binary。2.在我们连接数据库时，启动MySQ
2011-09-11 15:44:43
3344
原创 数据库设计的理解
数据库实现中最重要的就是数据库的设计，而数据库的实现相对而言就简单的多。数据库实现可以借助于数据管理设计工具，如sqlserver或mysql的管理工具、powerDesigner，只是一个工作量的事情。数据库设计的工作包括：确定数据库中包含哪些表、每个表包含哪些字段、所有表
2011-08-30 21:43:55
578
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人