大数据
文章平均质量分 93
ArthurKingYs
这个作者很懒,什么都没留下…
展开
-
史上最全云原生全景图解读攻略
带你了解云原生技术图谱如果你研究过云原生应用程序和相关技术,大概率你遇到过 CNCF 的云原生全景图。这张全景图技术之多、规模之大无疑会让人感到震惊,那么我们该如何去理解这张图呢?如果把它拆开来,一次只分析一小块内容,你会发现整个全景图没有那么复杂。事实上,该全景图按照功能有序地组织在一起,一旦你了解了每个类别代表的内容,你就可以轻松游走于全景图中。本文我们首先把整个全景图拆解开来,并对整个全景图进行综述,接着聚焦在每一层(or 每一列),对每个类别解决的问题和原理进行了更为详细的解读。转载 2021-07-13 14:43:53 · 897 阅读 · 0 评论 -
图数据库概念普及-你不知道就亏了
摘要:图数据库,如果是刚接触的人,可能会被其字面意思所误导。其实,图数据库并不是指存储图片、图像的数据库,而是指存储图这种数据结构的数据库。那么图又是什么呢?本文分享自华为云社区《图数据库到底是个啥》,原文作者:你好_TT 。近些年来,在大数据处理过程中有一种被广泛提及和使用的数据库,那就是图数据库。那么图数据库究竟是什么呢?图数据库,如果是刚接触的人,可能会被其字面意思所误导。其实,图数据库并不是指存储图片、图像的数据库,而是指存储图这种数据结构的数据库。那么图又是什么呢?什么是图...转载 2021-05-21 11:03:05 · 1105 阅读 · 0 评论 -
数据质量专项治理在政务大数据中的应用实践
根据我们的研究和实践,我们认为数据资产管理活动可以分为三个方面: 第一是让数据用起来 第二是让数据用得放心 第三是让数据创造价值 我们的政府部门,尤其是政府的大数据管理部门,在过去十几年中,针对“让数据用起来”做了很多工作,建设了诸如数据交换平台、数据共享平台、数据资源目录、基础库、主题库,甚至数据中台、数据湖等这样的项目。但是这些项目建设完后,所建设的数据中心的建设成果还不够理想,尤其是数据质量上,在使用过程中还是发现很多的数据质量问题。比如,一些政府部门建设了诸如领导驾转载 2021-04-26 10:19:03 · 415 阅读 · 0 评论 -
机器学习新概念-MLOps简介
什么是 MLOps?机器学习操作 (MLOps) 基于可提高工作流效率的DevOps原理和做法。例如持续集成、持续交付和持续部署。MLOps 将这些原理应用到机器学习过程,其目标是:更快地试验和开发模型 更快地将模型部署到生产环境 质量保证顾名思义,MLOps就是机器学习时代的DevOps。它的主要作用就是连接模型构建团队和业务,运维团队,建立起一个标准化的模型开发,部署与运维流程,使得企业组织能更好的利用机器学习的能力来促进业务增长。举个简单的例子,几年前我们对于机器学习的印象主...转载 2021-03-18 16:57:00 · 23009 阅读 · 0 评论 -
微服务架构,如何做分布式,通用缓存机制?
什么是静态数据 为什么需要缓存 通用缓存机制 总结 后记 在分布式系统中,特别是最近很火的微服务架构下,有没有或者能不能总结出一个业务静态数据的通用缓存处理机制或方案,这篇文章将结合一些实际的研发经验,尝试理清其中存在的关键问题以及探寻通用的解决之道。什么是静态数据这里静态数据是指不经常发生变化或者变化频率...转载 2019-12-19 14:16:33 · 185 阅读 · 0 评论 -
微服务之间的最佳调用方式
在微服务架构中,需要调用很多服务才能完成一项功能。服务之间如何互相调用就变成微服务架构中的一个关键问题。服务调用有两种方式,一种是RPC方式,另一种是事件驱动(Event-driven)方式,也就是发消息方式。消息方式是松耦合方式,比紧耦合的RPC方式要优越,但RPC方式如果用在适合的场景也有它的一席之地。我们总在谈耦合,那么耦合到底意味着什么呢?耦合的种类:时间耦合:客户端...转载 2019-12-17 09:47:17 · 602 阅读 · 0 评论 -
PostgreSQL监控之pgwatch2
https://www.tuicool.com/articles/fmyUfqI前言:虽然作者已经推出了docker版本,只需一键(一条命令)即可完成搭建。 但是本着学习的心理还是要自己折腾一遍,一键虽好但不明了啊。 官方已经把安装写的很详细了,但毕竟是英文...... pgwatch2官方地址:https://github.com/cybertec-postgresql/pgwat...转载 2019-12-16 09:30:43 · 465 阅读 · 0 评论 -
支持百亿请求服务的运维技术实践(多图)
一、运维在广告体系中的价值运维的工作来源已久,但直到近些年,随着互联网的发展,产品的维护工作越来越复杂,以及服务可用性的提升,都让运维的工作越来越重要。我们可以回顾下运维发展至今都经历了哪些阶段。① 人工阶段这个阶段的运维主要通过人肉操作我们的服务,由于这个阶段的服务大都是单实例,流量服务器都比较少,所以我们通过命令行就能够解决绝大多数的问题。② 工具阶段随着互联网影响逐渐变大...转载 2019-12-06 09:16:54 · 390 阅读 · 0 评论 -
基于地理位置的数据挖掘
https://zhuanlan.zhihu.com/p/24510479?utm_source=tuicool&utm_medium=referral一般我们在做数据挖掘过程中地理位置算是一个特别重要的特征,广泛应用于O2O的很多场景。但做的事情都相对来说比较简单,LBS的网格位置推相应的内容。原来我们基于地理位置拿了不少数据,也做了一些模型,主要是一些医院位置、商场位置、公交地转载 2016-12-23 16:46:51 · 8906 阅读 · 0 评论 -
前端图片引入方式神演算
https://zhuanlan.zhihu.com/p/24315362?utm_source=tuicool&utm_medium=referral作者:沐洒链接:https://zhuanlan.zhihu.com/p/24315362来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。先阐述一下背景:我们团队对于图片的使用方式有一个转载 2016-12-23 16:51:22 · 671 阅读 · 0 评论 -
AI 初学者入门指南:深度学习的五级分类
http://www.leiphone.com/news/201612/YbxNhoZ7z07SEpxr.html编者按:目前 AI 被笼统划分为“弱人工智能”、“强人工智能”、“超人工智能”三个类别。甚至在很多业内专家(比如洪小文)眼中,只有“强”、“弱”AI 的区别,因为“超人工智能”离我们实在还很远,难以捉摸。这样的笼统分类显然不利于大众对于各项 AI 技术进行认识和理解。因转载 2016-12-27 10:53:45 · 1583 阅读 · 0 评论 -
数据库存储效率优化实战:从50PB到32PB(超大容量优化策略)
http://www.infoq.com/cn/news/2017/01/Efficient-Storage-50-32-PB?utm_source=tuicool&utm_medium=referral对电子邮件服务的用户来说,邮箱容量早已不是值得关心的问题,几乎所有主流邮件服务商都提供了容量大到很少有人能用完的服务。然而对服务商来说,尽可能降低成本,提升系统,尤其是存储系统的使用效转载 2017-01-06 09:32:37 · 1358 阅读 · 0 评论 -
数据库结构演变
传统单机数据库面临的挑战以电商网站为例,在网站创建之初,日均访问量可能只有几百到几千人,这时整个业务后台可能就一个数据库,所有业务表都放在这个数据库中,一台普通的服务器就可以支撑,而且这种架构对业务开发人员也非常友好,因为所有的表都在一个库中,这样查询语句就可以灵活关联了,使用起来很便捷。图1 所有业务表都在一个数据库中但是随着业务的不断发展,每天访问网站的人越来越多,数据库的原创 2017-02-13 09:37:41 · 351 阅读 · 0 评论 -
提个问题:从技术到人生
http://mindwind.me/blog/2017/01/02/%E6%8F%90%E4%B8%AA%E9%97%AE%E9%A2%98-%E4%BB%8E%E6%8A%80%E6%9C%AF%E5%88%B0%E4%BA%BA%E7%94%9F.html?utm_source=tuicool&utm_medium=referral关于提问,你有没有碰到过这种情况,有人拿着一个问转载 2017-01-03 16:23:30 · 332 阅读 · 0 评论 -
深入浅出从底层分析 Redis client/server交互流程(干货)
http://www.infoq.com/cn/articles/communication-redis-clientserver?utm_source=tuicool&utm_medium=referralRedis client/server 交互步骤分为以下6个步骤:一、Client 发起socket 连接二、Server 接受socket连接三、转载 2016-12-22 09:21:19 · 2330 阅读 · 0 评论 -
微服务横行的今天,你的工具够用么?
https://blog.maxleap.cn/archives/1241说起微服务, 想必现在的技术圈内人士个个都能谈笑风云, 娓娓道来。的确, 技术变革日新月异, 各种工具框架雨后春笋般涌现, 现在我们可以轻巧便捷地根据自己的业务需求, 构建一个个微服务。按Wikipedia的解释: 微服务是一种以业务功能为主的服务设计概念,每一个服务都具有自主运行的业务功能,对外开放不受转载 2016-12-06 09:11:37 · 439 阅读 · 0 评论 -
常见性能优化策略的总结
http://tech.meituan.com/performance_tunning.html?utm_source=tuicool&utm_medium=referral本文要感谢我职级评定过程中的一位评委,他建议把之前所做的各种性能优化的案例和方案加以提炼、总结,以文档的形式沉淀下来,并在内部进行分享。力求达到如下效果:1. 形成可实践、可借鉴、可参考的各种性能优化的方案转载 2016-12-05 13:42:29 · 491 阅读 · 0 评论 -
大话程序猿眼里的高并发
转自http://www.importnew.com/22542.html?utm_source=tuicool&utm_medium=referral上半部分:高并发是指在同一个时间点,有很多用户同时的访问URL地址,比如:淘宝的双11,双12,就会产生高并发,如贴吧的爆吧,就是恶意的高并发请求,也就是DDOS攻击,再屌丝点的说法就像玩撸啊撸被ADC暴击了一样,那伤害你懂得(转载 2016-12-01 13:15:54 · 1618 阅读 · 0 评论 -
分布式或拟分布式系统的消息“时序”与“一致性”问题
分布式系统中,很多业务场景都需要考虑消息投递的时序,例如:(1)单聊消息投递,保证发送方发送顺序与接收方展现顺序一致(2)群聊消息投递,保证所有接收方展现顺序一致(3)充值支付消息,保证同一个用户发起的请求在服务端执行序列一致消息时序是分布式系统架构设计中非常难的问题,ta为什么难,有什么常见优化实践,是本文要讨论的问题。一、为什么时序难以保证,消息一致性难?为什么分布式环转载 2016-11-17 09:20:31 · 2603 阅读 · 0 评论 -
PostgreSQL配置优化
硬件和系统配置操作系统Ubuntu13.04系统位数64CPUIntel(R) Core(TM)2 Duo CPU内存4G硬盘Seagate ST2000DM001-1CH164测试工具PostgreSQL-9.1.11测试工具工具名称pgbench转载 2016-11-29 16:51:39 · 344 阅读 · 0 评论 -
2016年度GitHub上Stars最多的项目
https://zhuanlan.zhihu.com/p/24633097?utm_source=tuicool&utm_medium=referral作者:Larry链接:https://zhuanlan.zhihu.com/p/24633097来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。2016年接近尾声,在最近的几篇文章中,会整理转载 2016-12-30 09:22:12 · 534 阅读 · 0 评论 -
linux服务器如何检查远程用户登陆状态、时间、ip地址等信息
问题:因为某项目组在同一个服务器上都是用的同一个登录名和密码,所以项目管理上无法做到具体谁对服务器进行了某些操作,现在的需求是能具体到某个研发人员在这个服务器上的操作。公司用的内网,IP地址是动态的,也无法从IP地址确定到某个人。所以能否在研发人员登录服务器时,服务器根据登录者的IP地址直接获取到他电脑的名字,这样就可以跟踪到具体的某个人了。答:先查看有谁登陆,在查看他的MAC信息[roo原创 2017-01-09 10:46:58 · 2316 阅读 · 0 评论 -
大数据等最核心的关键技术:32个算法
http://bigdata.51cto.com/art/201701/527588.htm?utm_source=tuicool&utm_medium=referral合并查找算法(Union-find)——给定一组元素,该算法常常用来把这些元素分为多个分离的、彼此不重合的组。不相交集(disjoint-set)的数据结构可以跟踪这样的切分方法。奥地利符号计算研究所(Rese转载 2017-01-12 09:17:03 · 4205 阅读 · 0 评论 -
经验分享 | 如何做好基础安全设备运维
http://www.freebuf.com/articles/es/159265.html?utm_source=tuicool&utm_medium=referral一 基础安全设备包含哪些?下图是一个典型的企业业务网络架构包含常见的安全设备。基础安全设备包含构造业务安全防御系统的常用安全设备,能够搭建深度防御体系的各种安全设备、安全软件。大型的互联网结转载 2018-01-10 14:10:08 · 1424 阅读 · 0 评论 -
用Python研究了三千套房子,告诉你究竟是什么抬高了房价?(python实战)
https://www.tuicool.com/articles/FBvaM3f关于房价,一直都是全民热议的话题,毕竟不少人终其一生都在为之奋斗。房地产的泡沫究竟有多大不得而知?今天我们抛开泡沫,回归房屋最本质的内容,来分析一下房价的影响因素究竟是什么?1、导入数据import numpy as np import pandas as pd import mat转载 2018-01-25 10:06:24 · 1981 阅读 · 0 评论 -
Redis 集群方法
https://zhuanlan.zhihu.com/p/27580723?utm_source=tuicool&utm_medium=referral配置Redis为了方便管理,我们将统一的配置放到 cluster.conf 文件中,别的文件引入该文件:bind 127.0.0.1protected-mode yesport 6370tcp-backlog转载 2017-06-28 15:41:53 · 485 阅读 · 0 评论 -
大数据计算框架与平台--深入浅出分析
http://mp.weixin.qq.com/s/s2DnbgieeQockaLKdZDCzA?utm_source=tuicool&utm_medium=referral1. 前言计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用,数据规模不断增加,TB、PB量级转载 2017-05-02 10:49:15 · 3143 阅读 · 0 评论 -
谈谈高并发系统的限流
http://www.cnblogs.com/haoxinyue/p/6792309.html?utm_source=tuicool&utm_medium=referral开涛大神在博客中说过:在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流。本文结合作者的一些经验介绍限流的相关概念、算法和常规的实现方式。缓存缓存比较好理解,在大型高并发系统中,如果没有缓存数转载 2017-05-02 09:15:48 · 2403 阅读 · 1 评论 -
一个经过优化的微服务架构案例
http://www.infoq.com/cn/articles/an-optimized-micro-service-architecture-case?utm_source=tuicool&utm_medium=referral前言大家都知道,基于单体(Monolith)和微服务(Microservice)架构的争论已经存在多年,正如我们对胖客户端、瘦客户端孰好孰坏的争转载 2017-02-15 10:07:22 · 2398 阅读 · 0 评论 -
去中心化的三个维度
http://36kr.com/p/5063699.html?utm_source=tuicool&utm_medium=referral作为区块链存在的主要理由,去中心的定义却含糊不清,这需要澄清一下。编者按:去中心化是个热词。但是究竟什么是去中心化却存在很多异议。为此比特币改良版在线系统Ethereum的创始人之一Vitalik Buterin从结构、政治和逻辑三个维度剖析了去中心转载 2017-02-15 09:18:27 · 2436 阅读 · 0 评论 -
为什么要使用 99+,记一次 sql 优化(消息数量显示优化)
http://www.tuicool.com/articles/6fIbEvQ一般在设计通知中心时,都会在入口处显示一个未读消息数,这样不仅可以醒目地告知用户有未读消息,还能让用户更容易从众多小图标中区分出通知中心的入口。比如 ucloud 控制台的顶栏:我们网站的通知中心也一样,在入口同样加上了未读消息数的显示。上线后平稳运行,以为可以就这样一直美下去转载 2017-02-14 09:18:51 · 1396 阅读 · 0 评论 -
模拟百万级TCP并发
TCP并发是指一个服务器同时“hold住”的连接数量,确切的说就是指服务器端看到的“ESTABLISHED”状态的TCP连接数量。通过netstat -n|grep ^tcp|awk '{print $NF}'|sort -nr|uniq -c可以查看当前服务器TCP状态统计报告,下图是我的执行结果(我正在通过SSH连接这台机器所以有一个“ESTABLISHED”状态的TCP连接)转载 2017-01-05 09:16:57 · 8832 阅读 · 1 评论 -
从几十台到几千台服务器的运维监控经验总结
http://mp.weixin.qq.com/s/4wu7649I0juCGRAMTZNR8w?utm_source=tuicool&utm_medium=referral多年以来一直以稳定运行为前提,确保业务永不掉线,带领运维团队自主开发了运维系统,包含,资产管理,工单管理,监控系统,域名管理,公有云管理,私有云管理等平台,并将运维数据进行分析整理,将运维工作透明化,可视化。这次主转载 2017-01-18 09:29:57 · 19982 阅读 · 1 评论 -
mysql ODBC 安装错误问题
rror 1918. Error installing ODBC driver MySQL ODBC 5.3 ANSI Driver, ODBC error 13: The setup routines for the MySQL ODBC 5.3 ANSI Driver ODBC driver could not be loaded due to system error code 126原创 2017-01-17 10:53:29 · 17488 阅读 · 1 评论 -
常用数据库性能优化最佳实践建议
数据库操作是当今 Web 应用程序中的主要瓶颈。 不仅是 DBA(数据库管理员)需要为各种性能问题操心,程序员为做出准确的结构化表,优化查询性能和编写更优代码,也要费尽心思。 在本文中,我列出了一些针对程序员的 MySQL 优化技术。在我们开始学习之前,我补充一点:你可以在 Envato Market 上找到大量的 MySQL 脚本和实用程序。结1.优化查询的查询缓存原创 2016-11-29 14:09:55 · 866 阅读 · 0 评论 -
linux中查看cpu和内存信息说明(性能优化干货)
性能优化: 就是找到系统处理中的瓶颈以及去除这些的过程,性能优化其实是对OS 各子系统达到一种平衡的定义,这些子系统包括了:CPU Memory IO Network 这些子系统之间关系是相互彼此依赖的,任何一个高负载都会导致其他子系统出现问题.比如:大量的页调入请求导致内存队列的拥塞 网卡的大吞吐量可能导致更多的 CPU开销 大量的CPU开销原创 2016-10-17 09:56:10 · 4748 阅读 · 0 评论 -
浅谈高维数据可视化中的降维方法
我们生活在三维空间中,很难直接理解三维以上的空间(爱因斯坦等牛人除外)。但是爱因斯坦这样的人毕竟在人群中是少数,对大多数人来说,高维数据如何进行可视化呢?聪明的人可以用其他的视觉通道对一些维度进行视觉编码,比如颜色、形状、朝向、体积、半径、表面覆盖物等等。。。不过有两个很显然的问题,1)用户理解起来,不那么方便了。可能要想半天才能反应过来,因为要对这些视觉通道进行一一的反编码,记住这些本身就挺转载 2016-05-13 16:30:25 · 10600 阅读 · 0 评论 -
记住一个公式就能成为“标题党”?(怎么做吸引人的标题)
很多时候我们会特别迷恋技巧类的干货文章,比如“1分钟学会把妹”、“一个月涨粉10w的三大秘诀”等等。然而当干货堆积如山,却发现自己只是捡了一麻袋的沉重沙子,并没有什么卵用,于是便有了“听过了很多道理,依旧过不好这一生”的说法。本文要做,不是简单地罗列“看似很有用的干货”,而是去分析干货的背后逻辑与本质,把沉重的沙子换成轻便的货币,把繁杂的干货浓缩成一条简单的公式。其实,转载 2016-05-13 15:58:38 · 50453 阅读 · 1 评论 -
平台的框架
编者按:这是一个平台横行的年代。Facebook、Android、Uber 甚至 Medium 都是平台。究竟什么是平台?如何分析不同的平台?《Platform Stack》、《平台革命》与《Platform Scale》的作者 Sangeet Paul Choudary 为我们提供了一种统一的分析框架。 理解平台这种商业模式我是在去年在自己的博客上第一次写平台栈(Platfo转载 2016-05-11 19:56:33 · 650 阅读 · 0 评论 -
物联网的一种参考架构
本文是两篇系列文章中的第一篇,我们在将这一系列文章中首先从一个抽象的角度了解IoT的参考架构,然后分析具体的架构与所选择的用例的实现。第一篇文章将涵盖更具体与完整的架构中的各种定义,而第二篇文章将通过实际的用例应用这种架构。我们正处在一个崭新的互联世界的入口,处于“物联网”(IoT)或者说是“第四次工业革命”浪潮之中的公司正在开发一种新型的网络,让我们在每日生活中所接触到的事物可以实现互通原创 2016-04-14 09:50:35 · 2414 阅读 · 0 评论