2017年12月_大数据公社

转载 2017年网络流行语TOP20 , 没用过算我输！

每年的网络流行语都层出不穷，今年的也不例外。打开你微信收藏的表情，要是没个：「扎心了，老铁！」,「你的良心不会痛吗？」,「你心里没点b数吗？」,「疯狂打call！」，都不好意思说是网络时代的弄潮儿了！现在社交网络的流行趋势，已成为我们生活的源动力，回顾今年的网络流行语，你都能想起哪些呢？？？01020304050607080910 11121314151617181920还有那些网络流行语遗漏了

2017-12-14 00:00:00 1228

背景目前的阿里云redis不管主从版还是集群规格，slave作为备库不对外提供服务，只有在发生HA，slave提升为master后才承担读写。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。为满足读多写少的业务场景，最大化节约用户成本，阿里云redis推出了读写分离规格，为用户提供透明、高

2017-12-13 00:00:00 560

转载 40张技术图谱，架构师阶梯（附高清下载）

本文所有图谱、思维导图90%都是高清无码，包含K8S、容器相关的4张，架构类型的5张，也含有运维、Java、DevOps、Hadoop、前端、DBA、Android、Angular、IOS、OpenResty、大数据、机器学习、测试等，是一份架构师、IT技能全栈学习不错的资料。部分图谱来源GitHub，地址： https://github.com/TeamStuQ/skill-mapCloud N

2017-12-12 00:00:00 7920 37

转载这7个不可错过的数据可视化技术，能让地图惊喜跃动

“研究人员们对于数据做了精心的分析处理后，一定想用生动形象的方式呈现大家。好的可视化方法可以让数据为读者讲述出十分有趣的故事，直观的呈现也为数据消费者提供了高效的信息和决策的坚实依据。今天DT君给大家分享的，是7个有意思的地理位置数据可视化技术~本文转自公众号将门创投（ID：thejiangmen）▍Choropleths如果你想要呈现基于地域的数据信息，那么choropleth一定是你的不二选择

2017-12-12 00:00:00 955

转载阿里机器人都会批改作文了！深圳无人驾驶公交车试运行；360 开源深度学习平台 XLearning；

近期人工智能、大数据热点头条，一起来看看↓↓↓0、阿里机器人批改作文，200 字看出 8 处错误近日，在浙江外国语学院国际学院，来自多个国家的留学生完成了一份特别的中文试卷——批卷老师为来自阿里巴巴的人工智能。在这批试卷上，阿里 AI 用代表不同意义的符号在试卷上，精确地圈出外国留学生们的多词（Redundant）、缺词（Missing）、错词（Selection）和词序错误（Word Orde

2017-12-12 00:00:00 828

转载医疗人工智能发展趋势及机遇

从1956年的达特矛斯会议提出“人工智能”的概念，到AlphaGo击败围棋世界冠军，人工智能的发展不过仅仅半个世纪的时间，期间都曾因遇到瓶颈而停滞不前。而如今，人工智能已经跨过了元年，计算平台、海量数据以及机器学习等技术的助推力，把人工智能的发展推到了一个前所未有的速度等级。而数据是医学人工智能的能源，如果没有数据能源就像即使发明了汽车但没有汽油一样，是没办法跑动的。IDC曾预测，到2020年，全

2017-12-11 00:00:00 7768

转载美妆也AI，资生堂收购AI公司，加码定制化美妆

日本美妆巨头资生堂集团（Shiseido）美国子公司宣布，收购人工智能创业公司Giaran以完善美妆客户的定制化体验。双方暂未公布具体交易条款。2016年，Giaran诞生于美国东北大学（Northeastern University）协同媒体学习实验室（Synergetic Media Learning Laboratory），创始人包括数位科学家和世界知名AI专家Raymond Fu。Giar

2017-12-11 00:00:00 584

转载 Python很简单？学会魔术方法才算入门！

永久地址：http://www.ssforce.cn/?p=289Python中的元类是什么？原问题地址：http://stackoverflow.com/questions/100003/what-is-a-metaclass-in-python问题什么是元类？使用它们能做什么？答案 1元类是类的一种。正如类定义了实例功能，元类也定义了

2017-12-11 00:00:00 753

转载 2017 年成为 Linux 专家的 4 个热门技能

你需要刷哪些技能？-- Shawn Powers本文导航-1、安全17%-2、 DevOps34%-3、开发49%-4、软技能64%编译自： https://opensource.com/article/17/1/yearbook-4-hot-skills-linux-pros-2

2017-12-08 00:00:00 376

转载教你一招 | Python 破解验证码

文 | Ben E. Boyter 编译 | ekCit原文链接：http://www.boyter.org/decoding-captchas/一、项目简介本实验通过一个简单的例子来实现破解验证码，非常适合Python新手练手。从中我们可以学习到 Python 基本知识，PIL 模块的使用，破解验证码的原理。二、实验说明

2017-12-08 00:00:00 1532

转载给新手程序员的16个工作必备小妙招，省下时间去LOL吧！

写在前面：这个文章核心并不是程序优化的具体技巧，而是拿到一个问题如何思考和利用工具的通用方法。比如即使我们不知道 profiler 这个东西，通过搜索"代码每一行时间"也可以很快知道有这样的工具叫做 profiler，并且学会怎么使用。即使不知道 rand 这个函数怎么加速，通过搜索引擎也可以找到别人写好的现成代码。另一方面是发现瓶颈之后也不要着急自己修复，如果不是特别一目了然的话，先

2017-12-08 00:00:00 363

转载干货 | 自然语言处理(1)之聊一聊分词原理

前言在做文本挖掘时，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但有时也需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分词就是一个需要专门去解决的问题了。无论是英文还是中文，分词的原理都类似，本文就对文本挖掘时的分词原理做一个总结。分词的基本原理现代分词都是基于统计的分词，而统计的样本内容来

2017-12-08 00:00:00 537

转载大数据显示：中国的程序员是世界上最牛的程序员

写在前面：一直觉得中国的程序员想法多，肯钻研肯学习，但却不知道原来中国的程序员是世界上最牛的程序员。说来可能不信，但根据HackerRank官网的一篇报道，数据显示中国的程序员就是世界上最牛的程序员。特将此文翻译成中文，分享给大家。　　如果问哪里的程序员最牛，很多人肯定会认为是美国。毕竟美国拥有很多杰出的程序员，如比尔·盖茨、肯·汤普森、 C 语言之父丹尼斯·里奇、唐纳德·克努特。但是，

2017-12-07 00:00:00 656 1

转载 mysql常用函数

一、数学函数ABS(x) 返回x的绝对值BIN(x) 返回x的二进制（OCT返回八进制，HEX返回十六进制）CEILING(x) 返回大于x的最小整数值EXP(x) 返回值e（自然对数的底）的x次方FLOOR(x) 返回小于x的最大整数值GREATEST(x1,x2,...,xn)返回集合中最大的值LEAST(x1,x2,...,xn)

2017-12-07 00:00:00 304

转载一文读懂「用户行为数据」的采集、分析和应用

越来越多的企业已开始挖掘用户行为数据的商业价值，利用行为数据进行精准有效的数字营销。以科技金融行业为例，某知名企业的数据表明：用户行为数据的效力是金融数据的4倍。一、企业的数据来源企业收集、存储、分析数据，其目的就是为了解决业务需求，优化业务运营流程，提高其经营效率并降低成本。企业业务数据通过数据挖掘、深度分析和可视化展现，充分发现业务运营中的问题，进而制定更科学合理的

2017-12-07 00:00:00 32080

转载爬虫技术的门道，这篇文章总结的最全

Web是一个开放的平台，这也奠定了Web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特型、搜索引擎以及简单易学的HTML、CSS技术使得Web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，Web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就

2017-12-07 00:00:00 9665

转载关于机器学习，你应该至少学习这8个落地案例｜干货集锦

1、机器学习在工程项目中的应用实践经验谈目前，人工智能、机器学习在很多人眼中是数据科学家们的专属武器，能够应用和掌握他们的数据科学家们都有着极其深厚的数学理论功底。那些想要学习和实践人工智能的工程师们，往往要么是在打开相关书籍的时被映入眼帘的数学公式吓倒，要么就是学习了很多机器学习的理论及算法但面对实际项目却手足无措。近年来蔡超带领亚马逊工程团队应用机器学习、深度学习技

2017-12-06 00:00:00 9475 1

转载比12306快！用Python写一个火车票查看器~

当你准备出去玩，想查询一下火车票信息的时候，还在用12306官网吗？下面我们用 Python 写一个命令行版的火车票查看器，只要在命令行敲一行命令就能获得你想要的火车票信息！一、实验简介1.1 知识点Python3 基础知识的综合运用docopt、requests 及 prettytable 库的使用setuptools 的

2017-12-06 00:00:00 1613

转载一个“牛逼”的 Python 命令行解析库

题图：Photo by Mark Rabe on Unsplash在 Python 中，命令行解析库有非常多的选择方案，系统自带的模块有 argparse，有 Flask 作者写的 click，但是 argparse 使用起来啰嗦，要经历解析器初始化、参数定义、解析一套流程。例如：# -*- coding: utf-8 -*-# arg_test.pyimport argpar

2017-12-05 00:00:00 392

转载用 Python 实现一个大数据搜索引擎

搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。布隆过滤器（Bloom Filter）第一步我们先要实现一个布隆过滤器。布隆过滤器是大数据领域的一个常见算法，它的目的是过滤掉那些不是目标的元素。也就是说

2017-12-05 00:00:00 1550

转载为了学习支付宝的运营套路，我挣了24块钱

最近大家有没有发现，越来越多的商家支持并鼓励使用支付宝商家码支付了。而且在你结账的时候，老板还会一脸羞涩的掏出一张领取红包的二维码来告诉你，扫下二维码再支付，会优惠很多，很简单，扫个码就行了。这一切的原因，都是因为本次支付宝的活动“支付宝-赚钱红包”。笔者在研究活动的时候还挣了一些别问我名字为啥这么low这么奇怪这么直白，他就是这么写的。说不定是减少中老年用户的认知压力

2017-12-05 00:00:00 1843

转载 6个月清洗近千亿条微信支付交易记录，他们要搞什么大事情？

背景：2013年8月，微信红包上线。2014年春节微信红包引爆社交支付。2015年春晚红包摇一摇，推动微信红包在全国迅速普及。此后，每逢节假日或特殊日子，人们都会自主的兴起发红包，使微信红包成为热点。微信红包的火热带动微信支付的迅猛发展，按当时的发展速度预估，到2015年底，每天的微信支付交易记录会达到20亿。而原有的用户交易记录存储系统无法承受业务迅猛发展带来的冲击，一些瓶颈逐渐凸显出来。本文将

2017-12-05 00:00:00 498

转载快速了解一个行业的秘籍，你值得拥有

写在开头：想深入了解一个行业，不仅需要该行业的知识，俗称深度，还需要更多其它学科的知识，也就是广度。一、行业分析方法论：这是本文的重中之重，涵盖我总结的对行业分析最为有用的9个方法论以及示例，大部分来自咨询公司以及管理学中的战略分析工具。每个方法都值得花很多时间去研究，像商业模式画布，就有很多书籍专门讲解。

2017-12-04 00:00:00 406

转载【思维导图】机器学习基础之「统计篇」

本文用一系列「思维导图」由浅入深的总结了「统计学」领域的基础知识，是对之前系列文章做的一次完整的梳理，也是我至今为止所有与统计有关的学习笔记。众所周知，「统计学」是深入理解「机器学习|数据挖掘」的重要基础学科。正所谓磨刀不误砍柴工，对于数理基础薄弱的人，强化一下理论的学习是大有裨益的。普通人难以做到“一次学习”，经典知识总是在一次次回顾后才能有更深入的理解。这也是我选择「思维导图」作为学习工具的原

2017-12-04 00:00:00 2048 1

转载大神Hinton的Capsule论文终于公开，神经网络迎来新探索

“我的观点是把它全部抛掉，重头再来。”今年9月的一次大会上，大神Geoffrey Hinton再次号召展开一次AI革命。应该向何处去？实际上最近几年来，Hinton的大量精力都投入到了对capsule的研究之上。他想做capsule和想要推翻反向传播，几乎是出于同一个原因：不像大脑。capsule的提出，正是为了应对神经网络与大脑的一个不

2017-12-04 00:00:00 587

原创《阿里巴巴全域数据建设》（实录/PPT干货）

近日，在2017杭州•云栖大会-阿里大数据分论坛上，阿里巴巴数据技术及产品部高级技术专家张磊发表了主题为《阿里巴巴全域数据建设》的演讲，分享了阿里在大数据领域沉淀的技术能力和应用实践。阿里巴巴数据技术及产品部定位阿里数据中台：以全域大数据建设为中心，技术上覆盖整个大数据从采集、加工、服务、消费的全链路的各个环节，对内对外提供服务。丰富的大数据生态组件，构成了阿里的核心数据能力，通过

2017-12-04 00:00:00 3520

转载手把手教你估算深度神经网络的最优学习率（附代码&教程）

本文长度为2000字，建议阅读4分钟学习率（learning rate）是调整深度神经网络最重要的超参数之一，本文作者Pavel Surmenok描述了一个简单而有效的办法来帮助你找寻合理的学习率。我正在旧金山大学的 fast.ai 深度学习课程中学习相关知识。目前这门课程还没有对公众开放，但是现在网络上有去年的版本，且年末会在 course.fast.ai (http

2017-12-01 00:00:00 1383

转载 8个国外免费学习编程的网站，果断收藏！

点击上方蓝字关注，做一名有趣有料的程序员现在，如果你想学编程的话，这8个网站可以帮助你，它们都提供了免费的课程供你学习。Codecademywww.codecademy.com其中，Codecademy是最受欢迎的免费编程学习网站之一。事实上，已经有超过2400万人通过这家公司的教育模式学会了编程。Codecademy

2017-12-01 00:00:00 27450

转载 300万知乎多标签文本分类任务经验分享（附源码）

本文长度为4600字，建议阅读6分钟本文为你分享知乎看山杯冠军团队参赛经验。后台回复回复关键词“PT”即可获取源码（PyTorch实现）github地址。七月，酷暑难耐，认识的几位同学参加知乎看山杯，均取得不错的排名。当时天池AI医疗大赛初赛结束，官方正在为复赛进行平台调试，复赛时间一拖再拖。看着几位同学在比赛中排名都还很不错，于是决定抽空试一试

2017-12-01 00:00:00 2934 5

大数据公社