大数据
东边的小山
这个作者很懒,什么都没留下…
展开
-
数据挖掘中的 10 大算法
1.C4.5算法C4.5是做什么的?C4.5 以决策树的形式构建了一个分类器。为了做到这一点,需要给定 C4.5 表达内容已分类的数据集合。等下,什么是分类器呢? 分类器是进行数据挖掘的一个工具,它处理大量需要进行分类的数据,并尝试预测新数据所属的类别。举个例子吧,假定一个包含很多病人信息的数据集。我们知道每个病人的各种信息,比如年龄、脉搏、血压、最大摄氧量、家族病史等。这原创 2017-11-11 18:52:44 · 410 阅读 · 0 评论 -
负载均衡调度算法大全
负载主机可以提供很多种负载均衡方法,也就是我们常说的调度方法或算法:轮循(Round Robin)这种方法会将收到的请求循环分配到服务器集群中的每台机器,即有效服务器。如果使用这种方式,所有的标记进入虚拟服务的服务器应该有相近的资源容量 以及负载形同的应用程序。如果所有的服务器有相同或者相近的性能那么选择这种方式会使服务器负载形同。基于这个前提,轮循调度是一个简单而有效的分配请求转载 2017-11-15 23:22:52 · 2300 阅读 · 0 评论 -
分布式系统Paxos算法
这是一个有关Paxos算法非常形象的讲解与示范。Paxos是能够基于一大堆完全不可靠的网络条件下却能可靠确定地实现共识一致性的算法。也就是说:它允许一组不一定可靠的处理器(服务器)在某些条件得到满足情况下就能达成确定的安全的共识,如果条件不能满足也确保这组处理器(服务器)保持一致。什么是共识? 具体来说是这样:分布式系统中由于网络之间通讯可能会中断,虽然概率很低,但是没有100%转载 2017-11-15 23:24:43 · 258 阅读 · 0 评论 -
paxos-分布式系统数据一致性算法学习
Paxos算法是莱斯利·兰伯特(Leslie Lamport,此人现在在微软研究院)于1990年提出的一种基于消息传递的一致性算法。这个算法被认为是类似算法中最有效的。文章中很多东西借鉴大神的博客,在最下面有链接。该文章只是自己加深印象,做个总结。一:基本语义在Paxos算法中有一下几种角色:Proposer:议案的提议者Acceptor:议案的决议者Cli转载 2017-11-15 23:26:43 · 620 阅读 · 0 评论 -
分布式系统学习思路
分布式系统一般分为分布式K/V系统、分布式文件系统和分布式数据库等几个大类,在学习这几类系统的时候,需要掌握的知识或技能应该包括计算机基础知识、分布式算法和协议相关论文、分布式系统设计范型相关论文、开源的分布式系统案例以及造相关的轮子。基础知识根据博主目前经验来看,学习分布式系统首先要掌握以下基础知识:OS相关体系结构相关Unix系统编程Unix网络编程并发编程常用数据结构转载 2017-11-15 23:30:12 · 466 阅读 · 0 评论 -
在线支付公司Stripe的服务发现架构设计过程分享
本文介绍Consul如何在Stripe公司扮演服务发现功能的。主要谈论三个方面:1.什么是服务发现和Consul是什么。2.Stripe是如何管理关键软件的部署风险。3.遭遇的挑战和应对措施。Stripe是一家类似支付宝、Paypal的网上支付平台,Stripe不仅需要处理交易,还需要考虑退款,小费,额外收费,货币汇兑等一系列问题。什么是服务发现?负载平衡器将请求分转载 2017-11-15 23:31:44 · 1183 阅读 · 0 评论 -
高考数学常用数学思想:函数与方程思想,在数列中的应用
函数思想就是用运动变化的观点、方法分析和研究问题中的数量关系,构造出相应的函数,运用函数的知识,使问题得到解决的思想方法。方程思想就是分析问题中变量间的数量关系,建立方程或方程组,通过解方程(组),或运用方程的性质去分析、转化问题,从而使问题得到解决的思想方法。运用函数与方程思想解题,就是根据问题的条件去建立函数关系或者列方程,方程组,并借助函数知识或借助解方程解决问题,其应用最主要体现在转载 2017-11-16 11:11:04 · 3808 阅读 · 0 评论 -
python实现简单爬虫功能
日常上网浏览网页的时候,经常会看到一些好看的图片,我们就希望把这些图片保存下载,或者用户用来做桌面壁纸,或者用来做设计的素材。 我们最常规的做法就是通过鼠标右键,选择另存为。但有些图片鼠标右键的时候并没有另存为选项,还有办法就通过就是通过截图工具截取下来,但这样就降低图片的清晰度。好吧~!其实你很厉害的,右键查看页面源代码。 我们可以通过python 来实现这样一个简单的爬虫功转载 2017-12-12 08:39:28 · 567 阅读 · 0 评论 -
.NET平台下使用Memcached
由于最近的项目是使用.NET作为开发平台,而且使用的是Windows server 2008作服务器。所以,首先要找到Windows平台下的Memcached版本。下面,我将下载地址贴出来。 http://download.csdn.net/detail/dinglang_2009/3733784 或者 点击此处直接下载转载 2018-01-04 14:08:31 · 617 阅读 · 0 评论