2017年12月_36大数据

原创大数据安全领域独角兽：比特信安数据脱敏系统

当前大数据、云计算等新技术层出不穷，大数据离我们的生活越来越近，已成为新一代科技革命的风向标。对现代数据中心而言，云计算、大数据的兴起，必须依据新形势、新特点适时创造新的安全防护系统和安全体系才能应对数据资产集中化和大数据化所带来的严峻安全挑战。随着安全防护系统、隐私数据愈加受到重视，如何才能保护用户隐私、实现海量数据脱敏，已成为当前大数据安全领域的关键问题。成都比特信安科技有限公司作为中国大数

2017-12-26 07:00:27 1435

原创 2018年人工智能和机器学习路在何方? 听听美国公司怎么做

本文为美国著名数据分析网站DZone分析师Tom Smith与Exaptive的副总裁Matt Coatney的专访对话，对人工智能和机器学习的未来做了深度的探讨。Exaptive是一家美国俄克拉荷马州以提供大数据分析产品及服务为主的初创企业。本文由可译网言午二二 , Amanda沈两位朋友翻译。Exaptive的副总裁Matt Coatney下面是正文：感谢Exaptive的副总裁Mat

2017-12-25 20:14:21 804

转载张开旭：分词不是一个独立的任务，大量无标注语料是真正的金矿

作者：张开旭 CLPS-SIGHAN2012微博分词评测第一名最近看大家在微博上讨论分词。作为一个分词的同好，我也是有分词情怀的。我是12年毕业的NLP博士。（注：NLP...

2017-12-25 19:15:39 334

转载 Python股市数据分析教程——学会它，或可以实现半“智能”炒股

译者 | 阿里云云栖社区摘要：在本篇文章中，我们讨论了均线交叉策略的设计、回溯检验、基准测试以及实践中可能出现的若干问题，并结合Python代码实现了一个基于均线交叉...

2017-12-25 19:15:39 780

转载 Python股市数据分析教程——学会它，或可以实现半“智能”炒股

译者 | 阿里云云栖社区摘要：在本篇文章中，我们讨论了均线交叉策略的设计、回溯检验、基准测试以及实践中可能出现的若干问题，并结合Python代码实现了一个基于均线交叉的交易策略系统。以下为译文本篇文章是”Python股市数据分析”内容基于我在犹他州立大学MATH 3900 (Data Mining)课程上的一次讲座，第一部分在这里。在这些文章中，我将介绍一些关于金融数据分析的基础知识，例如，使

2017-12-25 00:00:00 3021

转载张开旭：分词不是一个独立的任务，大量无标注语料是真正的金矿

作者：张开旭 CLPS-SIGHAN2012微博分词评测第一名最近看大家在微博上讨论分词。作为一个分词的同好，我也是有分词情怀的。我是12年毕业的NLP博士。（注：NLP是神经语言程序学 (Neuro-Linguistic Programming)）课题就是分词，做课题期间读了几乎所有的主要文献，也自己重现过主流的方法，包括最大匹配，CRF，感知器，基于词的方法等等。遗憾的是自己没有写出高水平的p

2017-12-25 00:00:00 1634

转载有点意思!如果圣诞老人利用大数据派送礼物是这样的……

如果圣诞老人拥有物联网、大数据和智能设备，他会这样发放礼物。12月24日，几十年来，圣诞老人一直没有升级他的装备。但他对高科技并不陌生，今年，得益于一系列大数据技术，圣诞老人终于调整了送礼方式，以提高效率，完善客户服务。大数据分析将允许圣诞老人挤出更多的时间在本地购物中心与消费者合影，同时减少乘雪橇在全世界漫无目乱跑的时间。毕竟，曾出现过圣诞老人的驯鹿撞倒一位婆婆的不愉快插曲。而且，对于圣诞老人而

2017-12-25 00:00:00 812

转载有点意思!如果圣诞老人利用大数据派送礼物是这样的……

     如果圣诞老人拥有物联网、大数据和智能设备，他会这样发放礼物。12月24日，几十年来，圣诞老人一直没有...

2017-12-25 00:00:00 290

原创百分点集团发布中国首个行业AI决策系统产品Deep Matrix

2017年12月14日，以“决策·进化”为主题的中国首个行业AI决策系统发布会在北京召开。百分点集团正式发布了行业AI决策系统Deep Matrix及覆盖五大行业的决策系统产品，致力于推动企业组织跨越智能鸿沟、向智能决策方向迈进。跨越智能鸿沟革命性的智能技术，一边撕裂旧世界，一边创造对未来的无限渴望。以大数据+人工智能等技术推动的智能革命让企业组织又一次站在了进化的奇点上。智能经济时代，数

2017-12-17 20:39:18 532

原创程序员这个职业会是另一个即将破裂的泡沫？

作者：Tyler Elliot Bettilyon摘要：IT和一些低级别的编程工作最终会消失吗？这个工作是一个巨大的即将破裂泡沫吗？本文作者对此做了详细的分析。以下是译文。一位朋友最近向我提了个问题，这个问题我曾经在不同的论坛上听到过，虽然问题的形式不太一样：“你认为IT和一些低级别的编程工作最终会消失吗？这个工作看起来有点像一个巨大的即将破裂泡沫。我认为，科技和低水平计算机科学相关工作能够

2017-12-08 13:37:56 2899

原创 Go在酷狗数据库中间件的应用

作者：刘延允本次分享主要围绕Go在数据库中间件应用这方面展开；首先会聊一下程序开发的需求，具体会参考Go的特性是否满足这些需求；接下来会介绍一下近期采用Go语言开发的mysql中间件这个项目，整体方案，分表路由、故障切换、平滑扩容，系统运维，主要从以上这五个方面进行展开。程序开发需求程序开发对开发语言的要求，简单概括如下几点：语言特性精炼，容易入门开发效率高，代码逻辑清晰运行性能强，节

2017-12-08 10:44:42 1897

原创有关500强企业大数据

在互联网时代，市值已经替代收入或利润，日益成为衡量上市公司综合实力的最好标尺。今年以来，腾讯股价几乎翻一倍，目前3.66万亿港元的市值已是中国乃至亚洲最高，前不久更是首次超过Facebook跃居全球第5。放眼全国，还有哪些公司市值靠前?它们存在什么样的特征?通过对上海、深圳、香港、纽约等全球15个交易所上市的所有中国公司，对它们的最新市值进行加总换汇计算，得出“2017中国上市公司市值500

2017-12-08 09:03:24 1193

原创 AI会让人类失业吗？马云马化腾们不这么认为

[未来30年，将是善用互联网的公司获得巨大的发展。人类会越来越聪明，完全能够使用技术而非被技术征服，即便出现任何问题也都会有解决方案。]智能化普及是否会取代人类是当下的热门话题，即使机器人自动化时代来临，也可能催生新的就业机会。阿里巴巴集团创始人兼董事局主席马云在6日开幕的2017《财富》全球论坛上表示，这完全无需担心，他相信技术的发展会创造更多的工作岗位，比如，人工智能会让制造业从业者失去工

2017-12-08 09:03:03 3592

转载为什么大家都不戳破深度学习的本质？

作者：Pope人类正在慢慢接近世界的本质——物质只是承载信息模式的载体。人脑之外的器官都只是保障这一使命的给养舰队。自从去年 AlphaGo 完虐李世乭，深度学习火了。但似乎没人说得清它的原理，只是把它当作一个黑箱来使。有人说，深度学习就是一个非线性分类器？有人说，深度学习是对人脑的模拟……但我觉得都没有捅透那层窗户纸。当读完 Jeff Hawkins 的《论智能》，「就是它了！」。而我惊奇地发现

2017-12-08 00:00:00 2016 1

转载为什么大家都不戳破深度学习的本质？

     作者：Pope人类正在慢慢接近世界的本质——物质只是承载信息模式的载体。人脑之外的器官都只是保障这一...

2017-12-08 00:00:00 280

原创 App数据分析到底要分析什么

按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊。一、初创期初创期的重点在于验证产品的核心价值，或者说验证产品的假设：通过某种产品或服务可以为特定的人群解决某个问题。这个阶段应当遵循MVP(Minimum Variable Product

2017-12-07 18:12:08 2051

原创大图数据科学：图数据中的推理

我们正淹没在大数据的河流里，数据之间的相互关系蕴含着丰富的信息，但也常常被我们忽略。本文中，加州大学圣克鲁兹分校计算机科学系教授、美国人工智能学会(AAAI)院士Lise Getoor讲述了图识别是如何依靠数据做出推理的，并给出了自己对于概率软性逻辑PSL优越性和可能应用的看法。Lise Getoor表示我们还需要对图进行更多的机器学习，考虑各种关联结点之间的复杂关系。南加州大学圣克鲁兹分校计

2017-12-07 17:04:47 1784

原创 HBase Region自动切分的所有细节都在这里了

作者：范欣欣Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的，这里面涉及很多知识点，比如Region切分的触发条件是什么、Region切分的切分点在哪里、如何切分才能最大的保证Region的可用性、如何做好切分过程中的异常处理、切分过程中要不要将数据移动等，这篇文章将会对这些细节进

2017-12-07 16:38:09 5597

原创 39个大数据可视化工具数据研究必备

数据可视化无处不在，而且比以前任何时候都重要。无论是在行政演示中为数据点创建一个可视化进程，还是用可视化概念来细分客户，数据可视化都显得尤为重要。以前的工具的基本不能处理大数据。本文将推荐39个可用于处理大数据的可视化工具（排名不分先后）。其中许多工具是开源的，能够共同使用或嵌入已经设计好的应用程序中使用，例如Java，JSON，SVG，Python，HTML5，甚至有些工具不需要任何编程语言基础

2017-12-07 09:25:46 3479

转载【入门】数据分析六部曲

作者：好甜什么是数据分析？数据分析是用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析的目的？把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。什么是数据分析？数据分析的目的把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出研究对象的内在规律。数据分析的分类数据分析的三大作用：

2017-12-07 00:00:00 997 1

转载【入门】数据分析六部曲

     作者：好甜什么是数据分析？数据分析是用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇理解...

2017-12-07 00:00:00 388

原创 Kaggle网站流量预测任务第一名解决方案：从模型到代码详解时序预测

作者：Artur Suilin下面我们将简要介绍 Artur Suilin 如何修正 GRU 以完成网站流量时序预测竞赛。预测有两个主要的信息源：局部特征。我们看到一个趋势时，希望它会继续（自回归模型）朝这个趋势发展；看到流量峰值时，知道它将逐渐衰减（滑动平均模型）；看到假期交通流量增加，就知道以后的假期也会出现流量增加（季节模型）。全局特征。如果我们查看自相关（autocorrelat

2017-12-06 16:39:56 3374

原创唯品会大数据平台优化

作者：蔡永承大数据平台在唯品会近几年有了飞速发展，已经完成了从0到1的过程，各个部门逐渐将其引入到实际业务中。 “百尺竿头，更进一步”，在业务压力和集群负载同步增加的情况下，如何实现平台优化是2017年的主旋律。我们不可能面面俱到讲所有新东西，主要从集群健康和资源有效利用角度进行探讨，围绕集群监控，HDFS，Yarn和Capping调度来展开。集群监控这个技术架构主要关注于离线数据平

2017-12-06 11:29:26 1642

原创数据可视化工具大集合

所谓数据可视化是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。为了让开

2017-12-06 11:29:00 972

原创大数据早报：甲骨文公司投资4300万美元在总部建高中 18项全球互联网领先科技成果公布中国占6成（12.6）...

数据早知道，上36dsj看早报！来源36大数据，作者：奥兰多『融资』用大数据+AI帮助患者解决 “找医生难”问题，「妙寻医生」获数百万元天使轮融资近日，寻医平台妙寻医生已...

2017-12-06 07:50:00 681

原创商机 | 大数据/政务云采购清单招标8起，最高招标价为1300万（12.2-12.5）

文 | 36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共9起，最高成交价为389.6万二、政府、企事业单位大数据/政务云招标清单一共8起，最高招...

2017-12-06 07:50:00 513

原创大数据早报：甲骨文公司投资4300万美元在总部建高中 18项全球互联网领先科技成果公布中国占6成（12.6）

数据早知道，上36dsj看早报！来源36大数据，作者：奥兰多『融资』用大数据+AI帮助患者解决 “找医生难”问题，「妙寻医生」获数百万元天使轮融资近日，寻医平台妙寻医生已完成数百万元天使轮融资，资方为东湖众合天使投资。本轮资金将用于进一步优化和完善产品。之前的报道中显示：互联网海量、冗余、虚假的医疗信息与患者日益精细的信息需求不相匹配。妙寻医生想通过汇聚互联网医生大数据，并经由数据挖掘、清洗、分析

2017-12-06 00:00:00 4247

转载数据显示：中国的程序员是世界上最牛的程序员

作者：zhengqiaoyin写在前面：一直觉得中国的程序员想法多，肯钻研肯学习，但却不知道原来中国的程序员是世界上最牛的程序员。说来可能不信，但根据HackerRank官网的一篇报道，数据显示中国的程序员就是世界上最牛的程序员。特将此文翻译成中文，分享给大家。如果问哪里的程序员最牛，很多人肯定会认为是美国。毕竟美国拥有很多杰出的程序员，如比尔·盖茨、肯·汤普森、 C 语言之父丹尼斯·里奇、唐纳

2017-12-06 00:00:00 439

转载数据显示：中国的程序员是世界上最牛的程序员

     作者：zhengqiaoyin写在前面：一直觉得中国的程序员想法多，肯钻研肯学习，但却不知道原来中国...

2017-12-06 00:00:00 202

原创全年盘点：2017最酷的10家大数据初创公司

随着对数据管理和业务分析系统需求的不断扩大，大数据技术领域也在不断发生变化。如今的大数据系统更加自动化、更实时、更关键任务。企业越来越依赖这些系统来整合和分析分散在多个位置的数据，包括本地和云中的数据。其中传统的非结构化数据越来越少，而非结构化数据、机器数据、流数据和物联网数据却在迅速增加。有很多技术型初创公司正在开发前沿的软件和系统来满足这些大数据需求。下面就让我们来看看2017年大数据领域这

2017-12-05 16:57:39 1913 1

原创 12 月全球数据库排名：PostgreSQL 稳步上升

作者：周其DB-Engines 发布了 2017 年 12 月份的数据库排名。排前 20 名的数据库中，Oracle 稳居第一，排名在第 9 名的 Cassandra 赶超排在第 8 名的 Redis，第 14 名的 SAP Adaptive Server 赶超第 13 名的 Solr，SQLite 有小幅下降趋势。被众多人看好的 PostgreSQL 虽然排名未变，但是一直保持上升趋势。拿

2017-12-05 16:48:36 1226

原创金融大数据「支招」，如何躲避现金贷「老赖」

作者：王柏匀不少现金贷后台的贷款逾期数据持续所上升，监管风暴引发的“老赖”现象不在少数。那么，金融大数据有效控制“老赖”行为呢？现金贷监管风暴终于“打板”。12月1日，互联网金融风险专项整治、P2P网贷风险专项整治工作领导小组办公室正式下发《关于规范整顿“现金贷”业务的通知》，明确统筹监管，开展对网络小额贷款清理整顿工作。这无疑为现金贷公司的焦躁又添了“一把心火”。此前，就有不少现金贷

2017-12-05 15:07:42 2847

原创人工智能在饿了么的应用实践

作者：张浩关于饿了么大部分人都点过外卖，现在外卖成了中国吃饭的方式，点外卖是什么样的量级，说起来大家吓一跳，中国最大领域是电商，淘宝、京东，其次就是出行行业，滴滴、UBER 紧接是共享单车，这几家公司加起来是一天两三千万订单量左右。在外卖行业大家都知道，这个行业到今天为止已经每天 2500 万单，所以可以想象这个行业在飞速发展。为什么数据和算法起到那么大的作用，因为我们都知道在互联网 + 的情

2017-12-05 13:24:00 3782 1

转载深度学习和普通机器学习之间有何区别？

作者：黄小凡本质上，深度学习提供了一套技术和算法，这些技术和算法可以帮助我们对深层神经网络结构进行参数化——人工神经网络中有很多隐含层数和参数。深度学习背后的一个关键思想是从给定的数据集中提取高层次的特征。因此，深度学习的目标是克服单调乏味的特征工程任务的挑战，并帮助将传统的神经网络进行参数化。现在，为了引入深度学习，让我们来看看一个更具体的例子，这个例子涉及多层感知器(MLP)。在MLP中，“感

2017-12-05 00:00:00 1223

转载深度学习和普通机器学习之间有何区别？

     作者：黄小凡本质上，深度学习提供了一套技术和算法，这些技术和算法可以帮助我们对深层神经网络结构进行参...

2017-12-05 00:00:00 505

原创 DataStory·2017大数据商业创新论坛（上海站）圆满结束

2017年11月24日在上海虹桥万豪酒店，DataStory联合xx与100多家企业一起聚焦探讨企业和品牌应当如何以大数据分析为依托，助力企业品牌的发展升级，让我们一起感受一下火爆的现场。自今年9月底开始广州、北京、上海连续三场的全国巡展场场爆满，坐无虚席,论坛以三位重磅嘉宾分享，一场圆桌巅峰讨论的形式展开。吸引了腾讯、搜狐、新浪、网易、凤凰资讯、一点资讯、界面、品途商业、数英网、数据分析网

2017-12-04 18:17:42 643

原创重磅报告|萃取14个行业领域数据，2017品牌数字影响力榜单出炉

据最新统计，中国网民数量截止至11月已有8亿之多，互联网每天产生的数据也以PB规模增加，而今互联网显然已成为思想文化信息的集散地和社会舆论的放大镜，因此在2017年临近尾声之际，我们为您奉上刚出炉的品牌数字影响力盘点。该重磅报告选取DataStory手机行业库2016年11月到2017年11月期间数据，涵盖了社交、电商、视频、门户等等90%以上的互联网的声量，超过1万个不同站点的数据。就在11月

2017-12-04 18:09:26 3945

原创 PM如何用数据驱动产品设计与迭代？

作者：清水Calvin为什么要数据驱动?我们把2000年后的互联网分为3个阶段：2000-2006年，流量时代，有三大门户，拼流量2006-2011年，用户时代，如开心、FB，比用户量、日活等2012年至今，订单时代，如O2O，互金，直播等，比订单量、流水。可以看出，随着互联网发展，行业趋于成熟，产品精细化是大势所趋，大多产品新功能和改动需要依靠数据支撑，从而过滤掉大量负优化、伪需

2017-12-04 17:04:35 626

原创数据显示：中国的程序员是世界上最牛的程序员

作者：zhengqiaoyin写在前面：一直觉得中国的程序员想法多，肯钻研肯学习，但却不知道原来中国的程序员是世界上最牛的程序员。说来可能不信，但根据HackerRank官网的一篇报道，数据显示中国的程序员就是世界上最牛的程序员。特将此文翻译成中文，分享给大家。如果问哪里的程序员最牛，很多人肯定会认为是美国。毕竟美国拥有很多杰出的程序员，如比尔·盖茨、肯·汤普森、 C 语言之父丹尼斯·里奇、

2017-12-04 16:08:16 325

原创 Stack Overflow 数据显示 ORM 技术正在被逐渐放弃使用

作者：局长入行编程这一领域时间较短的开发者，可能对于技术的更替没有那么敏感。但如果将周期拉长点，或许会看到不一样的东西。Stack Overflow 最近公布了一些建站以来，问题标签中最引人注目的上升和下降数据。我们看看能从这些数据中得到什么信息。看看编程语言、框架或者技术是怎样突然爆发，又是如何逐渐被抛弃的。Stack Overflow 建站以来什么技术的关注度增长最迅猛？为了找到最大的

2017-12-04 16:08:13 326

空空如也

空空如也