资深数据大牛深度解析:大数据底层架构! https://www.sohu.com/a/197469801_99989999?sec=wd&spm=smpc.author.fd-d.20.1553654800781yejuW6n随着公司业务的增长,大量和业务、流程、规则相关的半结构化数据也爆发式增长。但数据分散在公司的各个系统中,如何将它们汇总并形成统一的企业级数据仓库,使企业灵活,高效的运用成了难题。如需将分散...
常用的几种大数据架构剖析 https://insights.thoughtworks.cn/common-big-data-infrastructure/数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工作已经经历了长...
新思路设计可视化大型微服务监控系统 http://www.infoq.com/cn/articles/visualization-microservice-monitoring-system背景随着微服务在生产实践中被大量使用,后台系统中的服务系统数量暴增,挑战也随之产生。当系统出现问题时,如何在上百个相关的、依赖错综复杂的服务系统之中快速定位到出错的系统?达达 - 京东到家的 Overwatch 系统已经在线...
服务端高并发分布式架构演进之路【转】 https://segmentfault.com/a/1190000018626163转载于:https://www.cnblogs.com/davidwang456/articles/11253614.html
Netflix正式开源其API网关Zuul 2--转 微信公众号:聊聊架构5 月 21 日,Netflix 在其官方博客上宣布正式开源微服务网关组件 Zuul 2。Netflix 公司是微服务界的楷模,他们有大规模生产级微服务的成功应用案例,也开源了相当多的微服务组件(详见 GitHub 主页),受到了业内同行的高度认可。Zuul 是 Netflix 于 2013 年 6 月 12 日开源的网关组件,目前在 GitHub 已经有超过 4...
京东应用架构设计与治理 https://www.sohu.com/a/233365048_444159经过十年的业务快速发展,京东信息系统复杂度越来越高:一般电商系统只需关心“进销存”中的“销”,京东系统需要管理采购(进)、销售(销)和库存(存)三个环节。系统做水平垂直拆分后,需要解决系统间如何解藕、如何保证高效通讯、如何保证数据的一致性、服务如何治理等问题。 本内容包括: 京东架构愿景, 描述京东多、快、...
lucene源码分析(4)Similarity相似度算法 lucene 7.5.0默认的评分Similarity是BM25Similarity (IndexSearcher.java) // the default Similarity private static final Similarity defaultSimilarity = new BM25Similarity();IDF公式f(qi,D)...
SpringBoot Whitelabel Error Page的根本原因,三种解决方案以及其特点 原文地址:https://www.jianshu.com/p/b065845910860、简述在学习这个学习笔记之前最好能够对spring mvc以及Tomcat有些了解,这样理解起来更加方便,如果需要知道最直接的解决方案,拖到最底部看样例代码即可。介绍了springboot的白页出现的真正原因,主要是没有合适的匹配情况出现404情况,然后跳转到系统默认的第一个Err...
下载文件旁边附的MD5/SHA256等有什么用途? 在我们下载很多软件时,旁边会出现md5,sha1/sha256/sha512等一长串字符串,这些字符串是什么意义呢?因为怕盗版或者怕软件被植入病毒或者插件等,要对软件的完整性做校验。步骤:先下载完软件,然后再本地做校验。1.windows下如何验证?certutil -hashfile 路径+文件名(包括文件名后缀) MD5certutil -hashfil...
MaxCompute+ Geabase 大话健康知识图谱取经之路 https://yq.aliyun.com/articles/628991?spm=a2c4e.11163080.searchblog.11.4f492ec1Hzl9la小叽导语:正如Google的高级搜索副总裁Amit Singhal在介绍知识图谱时提到的:“The world is not made of strings , but is made of things.” 大千世...
Oozie和Azkaban的技术选型和对比 https://blog.csdn.net/gaoqida/article/details/52165204一.Azkaban和Oozie的工作流程1.1 Azkaban工作流程Azkaban将需要操作的信息打包成zip文件发送给Server端,Server对用户的信息进行存储。用户在Web UI或者通过HTTP Client发送操作请求后,Server会根据用户定义的*....
MySQL慢查询日志总结 https://www.cnblogs.com/kerrycode/p/5593204.html慢查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10S以上的语...
Optimizing Elasticsearch Searches https://www.elastic.co/cn/blog/found-optimizing-elasticsearch-searchesUPDATE:This article refers to our hosted Elasticsearch offering by an older name, Found. Please note that Found is now kno...
neuroph轻量级神经网络框架 https://github.com/neuroph/neuroph.git转载于:https://www.cnblogs.com/davidwang456/p/9482895.html
java如何实现python的urllib.quote(str,safe='/') 最近需要将一些python代码转成java,遇到url编码urllib.quote(str,safe='/')但java中URLEncoder.encode(arg, Constant.UTF_8)会将'/'转成%2F网上查了一下 java没见到类似的safe方式,只好自己实现一个类package com.ppc.spider.fc.util;import jav...
Elasticsearch Performance Tuning https://dzone.com/articles/elasticsearch-performance-tuningOnce you have your Elasticsearch running, you'll likely eventually find that performance starts to suffer over time. This can be due t...
容器云平台、灰度发布系统、微服务网关的高可用实践 http://www.sohu.com/a/227223771_355140系统高可用是互联网企业系统架构的基础要求之一,一个好的高可用架构可以以最低的成本、更灵活的方式,满足企业用户需求。相反,糟糕的架构,不但花费了重金,而且架构过于复杂、过于笨重,线上故障不断,架构灵活性差,阻碍业务的发展。作为企业的架构负责人,如何能让自己的服务架构能够更好地承载飞速变化的业务和服务,如何让...
Solr之搭建Solr6.0服务并从Mysql上导入数据 https://blog.csdn.net/linzhiqiang0316/article/details/51464461目前百度上面关于solr对MYSQL的集成一般都是4.0左右。但是前solr的版本已经到了6.0,很多配置都和一起不一样了。所以我今天就和大家聊聊solr6.0如何进行MYSQL数据库的配置。(配置的前提是已经搭建好solr服务器了,如果有什么不清楚的可以参考这...
利用solr的 DataImportHandler从mysql数据库建立索引 http://quentinxxz.iteye.com/blog/2100619http://quentinxxz.iteye.com/blog/2100619本文所有实验在solr4.4上进行quickStart 参考http://wiki.apache.org/solr/DIHQuickStart步骤1: 首先修改solrconfig.xml 加往上Data...
SpringBoot开发案例从0到1构建分布式秒杀系统 https://gitee.com/52itstyle/spring-boot-seckill项目介绍SpringBoot开发案例从0到1构建分布式秒杀系统,项目案例基本成型,逐步完善中。秒杀场景秒杀场景无非就是多个用户在同时抢购一件或者多件商品,专用词汇就是所谓的高并发。现实中经常被大家喜闻乐见的场景,一群大妈抢购打折鸡蛋的画面一定不会陌生,如此场面让服务员大姐很无...