大快搜索DKhadoop的博客

当一个程序开始执行后，在开始执行到执行完毕退出这段时间内，它在内存中的部分就叫称作一个进程。Linux 是一个多任务的操作系统，也就是说，在同一时间内，可以有多个进程同时执行。我们大家常用的单CPU计算机实际上在一个时间片段内只能执行一条指令。那么Linux是如何实现多进程的同时执行的呢？原来Linux使用了一种称为” 进程调度 “的手段，首先，为每个进程指派一定的运行时间，这个时间通...

所谓服务器大流量高并发指的是：在同时或极短时间内，有大量的请求到达服务端，每个请求都需要服务端耗费资源进行处理，并做出相应的反馈。从服务端视角看高并发服务端处理请求需要耗费服务端的资源，比如能同时开启的进程数、能同时运行的线程数、网络连接数、cpu、I/O、内存等等，由于服务端资源是有限的，那么服务端能同时处理的请求也是有限的。高并发问题的本质就是：资源的有限性高并发带来的问题...

数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。我在数据清理与探索性分析中遇到的最常见问题之一就是处理缺失数据。首先我们需要明白的是，没有任何方法能够完美解决这个问题。不同问题有不同的数据插补方法——时间序列分析，机器学习，回归模型等等，很难提供通用解决方案。在这篇文章中，我将试着总结最常用的方...

机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。机器学习越来越多地从手动设计模型转变为使用H20，TPOT和auto-sklearn等工具来自动优化的渠道。这些库以及随机搜索...

每家公司现在是一个数据公司，在一定范围能够使用机器学习在云中部署智能应用程序，这归功于三个机器学习的趋势：数据飞轮，算法经济，和智能云托管。有了机器学习模型，企业现在可以快速分析大型，复杂的数据，并提供更快，更准确的见解，没有部署和维护机器学习系统的高成本。“当今建立的每一个成功的新应用程序将是一个智能应用程序，智能构建块和学习服务将是应用程序背后的大脑。”下面是三个机器学习趋势导...

区块链的兴起，标志着人类开始构建真正可以信任的互联网，通过梳理区块链的兴起和发展可以发现，区块链引人关注之处在于能够在网络中建立点对点之间可靠的信任，使得价值传递过程去除了中介的干扰，而且还公开数据并又未能透露隐私，既起到共同决策又保护个体利益的效果。如今就是要借助人工智能、大数据、区块链等新型技术再造一个零售行业，同时京东也在积极的推进区块链技术，加强商品溯源。目前，京东平台全球购借助区...

P2P网络贷款(“peer-to-peer”)为中小企业和个人提供了便利的融资渠道。近年来，随着互联网金融的逐步发展，P2P网贷已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势，各类P2P网贷平台呈现逐年增长的态势。目前，我国正常运行P2P平台数量已达近3000家，累计成交量约8000亿元。然而，网贷业在爆发式增长的同时，也存在着重大风险。高利率庞氏骗局、投放假标的、平台自...

                                                             大数据在金融领域的应用：融资租赁业与大数据的深度结合融资租赁作为发展实体经济的助推器，在经济新常态下机遇和挑战并存。融资租赁企业需要紧紧把握“服务实体经济本源”这一政策红利，充分发挥融资与融物属性，积极推动业务创新，突破同质化竞争格局，也要加强“金融科技”的技术研究，加大技...

云上存储产品主要有对象存储，块存储，网络文件系统（NAS），还有最赚钱的CDN，我们将针对这些主流产品，讲讲他们产品特点，有云上存储时候知道如何选型，当然我们是技术型作者也会简单讲讲实现思路，出于信息安全，不可能完全阐述工业界方案。工业界各大厂商很多上层存储产品都重度依赖底层文件系统，我们也捎带说说存储祖师爷DFS。Linux IO STACK云计算本质就是单机计算能力的无限扩展，我们...

当今技术的发展日新月异，系统架构也跟随技术的发展不断升级和改进，从传统的单一架构演变为如今的微服务分布式架构，我们来看看技术架构的演变过程。NO.1 初期网站架构网站建设初期，访问人数有限，数据量不大，只需要一台服务器足矣，这时应用程序、文件、数据库等所有资源全部集中在这台服务器上，网站架构请看下图：NO.2 应用和数据分离随着网站业务的不断发展，一台服务器已经不能满足要求，用...