2017年10月_csdn大数据

原创 ButterCMS架构：完成数百万次调用的关键任务API

原文：ButterCMS Architecture: A Mission-Critical API Serving Millions Of Requests Per Month 作者：Jake Lumetta 译者：夜风轻扬还在为网站中断而烦恼么？还在为可能存在的单点故障而终日提心吊胆么？ButterCMS也许给你带来新的选择，请见下文：ButterCMS 允许开发者在

2017-10-31 00:00:00 397

转载基于Zookeeper的分布式锁

这篇文章只需要你10分钟的时间。实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。什么是Zookeeper？Zookeeper（业界简称zk）是一种提供配置管理、分布式协同以及命名的中心化服务，这些提供的功能都是分布式

2017-10-27 00:00:00 2984

转载 7 场不可错过的 AI 技术专题 | 本周直播

如今人工智能已不单单是发表学术论文、刷新正确率的竞赛，抑或全民参与的新闻事件，它早在为各行各业的先行者们创造着实实在在的利润和商业价值。而且，随着算法改进、硬件升级、架构优化，应用人工智能技术带来的收益还会越来越高。那么，针对人工智能技术正在构建的商业和技术体系，我们又该从哪里去窥伺其中的门径呢？一线的人工智能专家正在关注哪些关键技术？如何从理论跨越到企业创新实践？基于此，CSDN

2017-10-27 00:00:00 884

转载常见的七种排序算法解析

本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。01选择排序实现原理首先从未排序序列中找到最小的元素，放置到排序序列的起始位置，然后从剩余的未排序序列中继续寻找最小元素，放置到已排序序列的末尾。所以称之为选择排序。代码实现案例分析时间复杂度与

2017-10-26 00:00:00 732

转载从《红楼梦》看 IT 团队管理

本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。➤恒定的人性太阳底下已经没有新鲜事了。这话并不是说今天所有的东西以前都有。而是说：相对于技术的发展社会的进步人性基本是恒定的。人与人之间的关系、互动，一群人之间发生的事情，无论披着怎样的外壳，其实从古至今，内核都是那些。IT业可谓是新兴行业了，其

2017-10-26 00:00:00 873

转载了解BDTC 2017四大看点：外籍讲师、早鸟票正式公布

大数据是信息技术发展的典型代表，也是工业4.0等各行业新一轮技术变革浪潮的主要推手，对技术开发者而言，2017年显然是大数据技术从飞速发展到落地行业的重要一年，很多技术的交叉，带给大数据领域跨越式的技术变化。为此，2017年12月7-9日，在北京新云南皇冠假日酒店，由中国计算机学会主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、中科天玑数据科技股份有限公司、CSDN协办的中

2017-10-25 00:00:00 576

转载 HBase集群监控那些事儿

为什么需要监控？为了保证系统的稳定性，可靠性，可运维性。掌控集群的核心性能指标，了解集群的性能表现；集群出现问题时及时报警，便于运维同学及时修复问题；集群重要指标值异常时进行预警，将问题扼杀在摇篮中，不用等集群真正不可用时才采取行动；当集群出现问题时，监控系统可以帮助我们更快的定位问题和解决问题。如何构建 HBase 集群监控

2017-10-25 00:00:00 3709

转载 1024，祝所有程序员节日快乐！

不知从何时起，自嘲，已经成为了一名合格程序媛（猿）的可爱属性之一。当提起“钱多、话少、加班多”的时候，大家往往也都会第一反应想到：你形容的是程序员吧。而在现实生活中，有着不同职业、身份或背景的人们，又对我们程序媛（猿）们有着怎样不同的理解和认知呢？带着这样的疑问，我们在1024程序员节这天，和美女主播墨墨一起，走出办公室，来到北京街头，跟随她的视角看一看被采访者眼中可爱的程序媛

2017-10-24 00:00:00 1199

原创 Apache Kylin最新的Streaming OLAP实现

本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。Apache Kylin是第一个来自中国的Apache顶级开源项目，连续两年获得了InfoWorld最佳开源大数据工具奖，2016年更是与Google TensorFlow一起获得该奖。 Apache Kylin的社区也非常活跃，目前Kylin被用于eBay、Expedia、网易、美团

2017-10-24 00:00:00 5603 1

转载数据可视化之美：经典案例与实践解析

本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。随着DT时代的到来，传统的统计图表很难对复杂数据进行直观地展示。这几年数据可视化作为一个新研究领域也变得越来越火。成功的可视化，如果做得漂亮，虽表面简单却富含深意，可以让观测者一眼就能洞察事实并产生新的理解。可视化(visualization)和可视效果(visual)两个词是等价的，

2017-10-23 00:00:00 32461 5

原创那些年我们用过的流计算框架

数据时代，从数据中获取业务需要的信息才能创造价值，这类工作就需要计算框架来完成。传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决。基于此，一种新的数据计算结构---流

2017-10-23 00:00:00 5208 1

转载从经济学博士到爬坑机器学习十年，微软首席数据科学家谢梁的AI故事

谢梁，美国微软总部首席数据科学家，本科毕业于西南财经大学经济学专业，然后在中国工商银行从事信贷评估工作，一年后辞职到纽约州立大学学习应用计量经济学。研究兴趣主要是混合模型（mixed model）和数据挖掘方法，以及 SAS 潜力的挖掘（他认为在各大 SAS 论坛帮人解决问题同时学习他人经验，是提升自己最快的途径，曾用网名 oloolo），著有《Keras 快速上手：基于 Python 的深度

2017-10-20 00:00:00 770

转载实时可靠的开源分布式实时计算系统——Storm

在Hadoop生态圈中，针对大数据进行批量计算时，通常需要一个或者多个MapReduce作业来完成，但这种批量计算方式是满足不了对实时性要求高的场景。Storm是一个开源分布式实时计算系统，它可以实时可靠地处理流数据。Storm特点在Storm出现之前，进行实时处理是非常痛苦的事情，我们主要的时间都花在关注往哪里发消息，从哪里接收消息，消息如何序列化，真

2017-10-20 00:00:00 10455 1

翻译 ETL的新兴趋势：超越大数据

随着大数据的持续增长，许多人开始担心提取、转换和加载（ETL）的常规过程是否依然适用。这样的担心是否多余呢？

2017-10-19 14:47:59 9798

转载从ELK到EFK，日志系统的高级玩法儿

为了提供分布式的实时日志搜集和分析的监控系统，我们采用了业界通用的日志数据管理解决方案，主要包括Elasticsearch、Logstash和Kibana三个系统。

2017-10-19 13:58:41 13107 3

转载砥砺奋进！GitChat 发布 1.9 版本更新公告

人民在期待着我们，历史在期待着我们，世界在期待着我们。亲爱的 GitChat 用户，在这样一个激动人心的日子里，我们怀着无比兴奋的心情向大家宣布：GitChat 1.9 版本正式上线！这是我们第一次正式对外公开版本迭代，以后每一次大版本更新，我们都希望通过这种方式获得您的宝贵建议。GitChat 也将与每一位朋友砥砺奋进，不忘初心，给大家提供优质的内容和体验。

2017-10-19 00:00:00 231

转载 7 场 AI 技术专题，开发者必看！

如今人工智能已不单单是发表学术论文、刷新正确率的竞赛，抑或全民参与的新闻事件，它早在为各行各业的先行者们创造着实实在在的利润和商业价值。而且，随着算法改进、硬件升级、架构优化，应用人工智能技术带来的收益还会越来越高。基于此，CSDN倾力打造了「人工智能技术实战峰会」，来自阿里巴巴、微软、商汤科技、第四范式、微博、出门问问、菱歌科技的AI专家，将针对机器学习平台、系统架构、对话机器人、芯

2017-10-18 00:00:00 736

转载大数据搜索选开源还是商业软件？ElasticSearch对比Splunk

本文将在架构、功能、产品线、概念等方面，对ElasticSearch和Splunk做一个全方位的对比，希望能够为大家在制定大数据搜索方案的时候有所帮助。简介ElasticSearch是一个基于Lucene的开源搜索服务。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放

2017-10-18 00:00:00 8088

原创如何学习分布式系统？一文全Get！

本文来自作者在GitChat（ID：GitChat_Club）上分享「如何学习分布式系统？」，CSDN独家合作发布。分布式系统在互联网公司中的应用已经非常普遍，开源软件层出不穷。hadoop生态系统，从hdfs到hbase，从mapreduce到spark，从storm到spark streaming, heron, flink等等，如何在开源的汪洋中不会迷失自己？本文将从基本概念

2017-10-17 00:00:00 17107 6

转载必读｜提高代码阅读能力的七种实用方法

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！随着越来越多的公司使用敏捷开发，能够阅读别人的代码比以往显得更重要。这就需要学习一些如何提高这项技能的技巧。本文提供了7种提高代码阅读技巧的方法，以下是译文。在软件开发人员的职位描述中有阅读源代码。然而，这体验并不总能令人愉悦。不是每个人都喜欢阅读别人的代码，因为他们觉得那很乏味，甚至有时令人感到沮丧。有些案例中，你开始阅读别人

2017-10-16 00:00:00 1511 1

转载程序员业余时间修炼指南

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！本文来自作者在 GitChat 上分享「程序员业余时间修炼指南」，CSDN独家合作发布。本文主要与大家分享我业余时间如何学习多门技术以及开发业余项目的一些心得，分为初衷、硬技能、软技能、第一生产力、环境、时间几个部分。我的学习方法在开始介绍我开发业余项目的经验前，先和大家分享一下我的学习方法吧

2017-10-16 00:00:00 653

转载史上最难的一道Java面试题：分析篇

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！无意中了解到如下题目，觉得蛮好。题目如下：该程序的输出结果？在java中，多线程的程序最难理解、调试，很多时候执行结果并不像我们想象的那样执行。所以在java多线程特别难，依稀记得大学的时候考c语言二级的时候，里面的题目是什么++和很多其他优先级的符合在一起问最后的输出结果，这类题目就想考

2017-10-16 00:00:00 1158 1

原创 R vs. Python，数据分析中谁与争锋？

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！R和Python两者谁更适合数据分析领域？在某些特定情况下谁会更有优势？还是一个天生在各方面都比另一个更好？当我们想要选择一种编程语言进行数据分析时，相信大多数人都会想到R和Python——但是从这两个非常强大、灵活的数据分析语言中二选一是非常困难的。我承认我还没能从这两个数据科学家喜爱的语言中选出更好的那一个。因此

2017-10-13 00:00:00 444

原创每个软件工程师都应该了解的搜索技能

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！如果你问一名软件工程师：“如何给产品添加搜索功能？”或者“如何构建一个搜索引擎？”你可能会得到这样一个回答：“我们刚刚推出了ElasticSearch集群，以后再也不用担心构建搜索功能了。”但真的是这样吗？许多现有产品仍然有很不友好的搜索体验。很多工程师对搜索引擎的工作原理知之甚微，而这些知识往往是提高搜索质量的必要条件。

2017-10-13 00:00:00 373

转载微博深度学习平台架构和实践

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！作者 | 黄波，何沧平责编 | 何永灿随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度

2017-10-12 00:00:00 579

转载那些女程序员们的故事

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！程序媛是程序员大军中一道美丽的风景线，今天的这篇文章就选取了一些女程序员们的故事，希望当所有人了解了他们的经历后，能让这个“重男轻女”的社会变得可以给女程员以更多平等的机会和条件，以及相应的尊重。下面分享几位女程序员的故事，我们一起来看一看：Shaofei—

2017-10-12 00:00:00 1273

转载马云说，即使阿里巴巴死了，达摩院也要活着

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！达摩院必须要比阿里巴巴活的时间长。—— 马云新语录昨晚，一张马云与全球多位顶级科学家集体会话合影的图刷屏了朋友圈，更有人说“马云将在云栖大会主论坛上宣布一件大事，一件可能改变整个世界的大事”，而今天悬念得到了揭晓。在云栖大会上，阿里巴巴 CTO 张建锋（行癫）宣布，阿里巴巴集团

2017-10-12 00:00:00 386

原创 Heron：Twitter的新一代流处理引擎

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！作者｜吕能，吴惠君，符茂松责编｜郭芮流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。随着互联网业务的发展以及数据规模的持续扩大，传统的批处理计算难以有效地对数据进行快速低延迟处理并返回结果。由于数据几乎处于不断增长的状态中，及时处理计算大批量数据成为了批处理计算的一大难题。在此背景之下

2017-10-11 00:00:00 787

原创如何在17天之内收获70份工作面试？

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！当你在找工作的时候，你可以把自己比喻成一家企业，而你的时间就是你要销售的产品，你的招聘公司就是你的潜在客户，如何把你的产品很好的推荐给你的潜在客户，这就是你求职过程中应该需要思考的一个问题。销售至少有两个关键组成部分:品牌和渠道。品牌是故事的讲述，而渠道是你如何把你的故事讲出来的。大公司倾向于把重点放在品牌建设上

2017-10-11 00:00:00 553

原创 10倍效率的开发人员都擅长这三件事，你也可以

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！译者注：一个10倍效率的开发人员很快就知道了他们需要做什么，要问什么问题，什么时候不问问题，并且是掌握事件优先级别的高手。几乎每个软件开发人员或程序员都见过其他人编写的代码，说明了“任何人都可以编码”。但你有没有遇到过所谓的神话般的“10倍效率的开发人员”？作为一个10倍效率的开发人员，在编写代码方面做得很少, 更多的是知道要写

2017-10-11 00:00:00 396

原创《程序员》10月精彩内容：iOS & Android 10 年

2017，顶着刘海的iPhone X带着“史上升级变动最大”的iOS 11，依然碎片化严重的Android带着“更快、更强大、更安全” 的8.0来到我们面前，忽思十年初，那个触屏的、没有物理键盘的智能手机惊艳了我，但连个复制粘贴功能都没有的时光。回首一顾，从2007到2017，从诺记的Symbian、摩托罗拉的Linux、苹果的iOS、微软的Windows Phone、三星的 Tizen到

2017-10-10 00:00:00 515

原创程序员必须知道的十大基础实用算法及其讲解

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！本文盘点程序员必须知道的十大基础实用算法及其讲解。算法一：快速排序算法快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(nlogn) 次比较。在最坏状况下则需要Ο(n2) 次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(nlogn) 算法更快，因为它的内部循环（inne

2017-10-10 00:00:00 491

原创让孩子进阶中产的唯一路径是编程？

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！作者 | 周翔****年，新的北京城已经建成**年了。如今的北京已经是一座有着八千万人口的巨型城市，但是位于城市中心的紫禁城却不再属于每一个居民。为了满足八千万人口的居住需求，北京将自己改造成了一座“折叠城市”：“大地的一面是第一空间，五百万人口，生

2017-10-09 00:00:00 294

原创 JavaScript内存管理机制以及四种常见的内存泄漏解析

↑ 点击上方蓝字关注我们，和小伙伴一起聊技术！几个星期前，我们开始编写深入研究JavaScript工作原理的系列文章。通过阅读这些文章，你可以了解到JavaScript的构建块及其交互原理，从而能够编写出更好的代码（前排提示：文中所有标蓝部分均可阅读原文获取详情）。本系列的第一篇文章简单介绍了引擎、运行时间和堆栈的调用。第二篇文章研究了谷歌V8 JavaScript引擎的内

2017-10-09 00:00:00 388

CSDN大数据