2017年09月_mergerly

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 python中numpy与matlab的对应关系

在本文中，将常用的MATLAB函数及运算与numpy中对应的函数及运算汇总在表中，大部分的运算都经过验证，如有问题请留言：通用函数等价表：matlabnumpy说明help funcinfo(func) or help(func)orfunc?(在Ipython环境下)查看关于func的帮助文档ty

2017-09-30 14:00:18 2451

转载美女头像这么多，他们用大数据告诉你哪个是骗子

编者按：作为拥有微信和qq等社交应用的腾讯，用户数据是其非常重要的资源，同时也是腾讯安全重点关注的领域，连CEO马化腾都一直在讲，未来的安全是大数据安全。腾讯云安全总监周斌（Blue）在2017腾讯安全技术国际峰会中，就以“大数据下的黑产画像和反欺诈能力建设”为主题，介绍了在过去一年多的时间里面，腾讯怎样运用大数据的能力更快、更好去发现安全威胁，如何运用大数据的算法揪出异常账户。下面为周斌

2017-09-15 14:50:43 2276

转载用 AI 怼黑产是一种怎样的体验？

导读：2017年8月31日，由腾讯安全科恩实验室主办的“2017腾讯安全国际技术峰会（TenSec 2017）”落下帷幕，本次峰会聚焦安全行业前沿技术，覆盖时下最热的安全议题。在为期两天的议程中，来自腾讯、微软、谷歌等国际工业界和学术界顶级的研究员共带来15个安全议题，现场干货满满，堪称一场技术研究人员的盛会。本篇文章正是选择了AI的这个热点，全文刊登了腾讯安全平台部总经理coolc关于“

2017-09-15 14:23:45 1064

转载七种常用特征工程技术

应用机器学习像是把你当一个伟大的工程师，而非伟大的机器学习专家。 ---google 当在做数据挖掘和数据分析时，数据是所有问题的基础，并且会影响整个工程的流程。相比一些复杂的算法，如何灵活的处理好数据经常会取到意想不到的效益。而处理数据不可或缺的需要使用到特征工程。一、什么是特征工程简单的说，特征工程是能够将数据像艺术一样展现的技术。为什么这么说呢？因为好的特征

2017-09-15 12:12:55 442

转载马里奥 AI 实现方式探索：神经网络+增强学习

导语在深圳的研发部培训中，我们组给定一个有趣的课题便是：马里奥游戏的智能通关，本文就神经网络和增强学习两个点进行整理，并将我们最后用的NEAT算法以及扩展找到的DRL算法进行了简单梳理。如果能够在游戏自动化测试、智能AI中应用这些有趣的算法，想想还是有点小激动哒 ^v^马里奥AI实现方式探索：神经网络+增强学习儿时我们都曾有过一个经典游戏的体验，就是马里奥（顶蘑菇^v^），

2017-09-15 10:57:14 2312 1

转载经典游戏服务器端架构概述（1）

架构的分析模型一. 讨论的背景现代电子游戏，基本上都会使用一定的网络功能。从验证正版，到多人交互等等，都需要架设一些专用的服务器，以及编写在服务器上的程序。因此，游戏服务器端软件的架构，本质上也是游戏服务器这个特定领域的软件架构。软件架构的分析，可以通过不同的层面入手。比较经典的软件架构描述，包含了以下几种架构：运行时架构——这种架构关心如何解决运行效率问题

2017-09-14 20:55:43 22898

转载用机器学习检测异常点击流

本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征：该项目从开始做到阶段性完成，大致可分为两个阶段：算法选择和工程优化。算法选择阶段挑选合适的ML模型，尝试了神经网络、高斯分布、Isolation Forest等三个模型。由于点击流数据本身的特性，导致神经网络和高

2017-09-14 20:50:39 7006 4

转载外卖订单量预测异常报警模型实践

一、前言外卖业务的快速发展对系统稳定性提出了更高的要求，每一次订单量大盘的异常波动，都需要做出及时的应对，以保证系统的整体稳定性。如何做出较为准确的波动预警，显得尤为重要。从时间上看，外卖订单量时间序列有两个明显的特征（如下图所示）：周期性。每天订单量的变化趋势都大致相同，午高峰和晚高峰订单量集中。实时性。当天的订单量可能会受天气等因素影响，呈现整体的上

2017-09-14 17:14:19 887 1

转载人人都可以做深度学习应用：入门篇（下）

四、经典入门demo：识别手写数字（MNIST）常规的编程入门有“Hello world”程序，而深度学习的入门程序则是MNIST，一个识别28×28像素的图片中的手写数字的程序。备注：MNIST 的数据和官网深度学习的内容，其背后会涉及比较多的数学原理，作为一个初学者，受限于我个人的数学和技术水平，也许并不足以准确讲述相关的数学原理，因此，本文会更多的关注“应用层

2017-09-14 15:04:09 4665

转载人人都可以做深度学习应用：入门篇（上）

一、人工智能和新科技革命2017年围棋界发生了一件比较重要事，Master（Alphago）以60连胜横扫天下，击败各路世界冠军，人工智能以气势如虹的姿态出现在我们人类的面前。围棋曾经一度被称为“人类智慧的堡垒”，如今，这座堡垒也随之成为过去。从2016年三月份AlphaGo击败李世石开始，AI全面进入我们大众的视野，对于它的讨论变得更为火热起来，整个业界普遍认为，它很可能带来下一次科技革

2017-09-14 15:03:16 420 1

转载分布式系统设计的求生之路

本文由腾讯WeTest授权发布作者：作者：Simon，腾讯后台开发高级工程师链接：http://wetest.qq.com/lab/view/?id=105 著作权归作者所有。商业转载请联系WeTest获得授权，非商业转载请注明出处。分布式系统理念渐渐成为了后台架构技术的重要选择，本文介绍了作者在手游领域对分布式系统进行的种种尝试，并在尝试中制定了对服务的定义、整体框架的构

2017-09-14 14:53:40 419

转载异常点检测算法分析与选择

1.1 常见异常点检测算法在数据库中包含着少数的数据对象，它们与数据的一般行为或特征不一致，这些数据对象叫做异常点 (Outlier) ，也叫做孤立点。异常点的检测和分析是一种十分重要的数据挖掘类型，被称之为异常点挖掘 [28 ] 。对于异常数据的挖掘主要是使用偏差检测，在数学意义上，偏差是指分类中的反常实例、不满足规则的特例，或者观测结果与模型预测值不一致并随

2017-09-13 18:48:02 6390

转载数据挖掘之异常点检测

异常点检测方法一、基本概念异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 1、常见的异常成因：数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。 2、异常检测的方法：（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果

2017-09-12 18:11:35 2786

转载推荐系统那点事 —— 基于Spark MLlib的特征选择

在机器学习中，一般都会按照下面几个步骤：特征提取、数据预处理、特征选择、模型训练、检验优化。那么特征的选择就很关键了，一般模型最后效果的好坏往往都是跟特征的选择有关系的，因为模型本身的参数并没有太多优化的点，反而特征这边有时候多加一个或者少加一个，最终的结果都会差别很大。在SparkMLlib中为我们提供了几种特征选择的方法，分别是VectorSlicer、RFormula和ChiSq

2017-09-11 22:02:59 427

转载结合Scikit-learn介绍几种常用的特征选择方法

特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能：减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，我们经常不管三七二十一，选择一种自

2017-09-11 20:37:58 394

转载游戏服务器之防加速器

加速器是网页类游戏常使用的通过修改前端帧频率来达到加速操作目的的工具，常用的有游戏浏览器等。所以前端的时间会变得很快或者很慢（跟后端的比较）。防加速器设计上:在网关服务器里限制连接发来（客户端发来）的移动系统里的角色移动消息，根据消息的时间戳跟服务器的时间相比，时间相差较大就踢掉.前后端需要在一定时间内同步一次时间上,每60秒同步一次后端时间到前端,设定

2017-09-11 17:50:46 1996

转载 Spark强大的函数扩展功能

在数据分析领域中，没有人能预见所有的数据运算，以至于将它们都内置好，一切准备完好，用户只需要考虑用，万事大吉。扩展性是一个平台的生存之本，一个封闭的平台如何能够拥抱变化？在对数据进行分析时，无论是算法也好，分析逻辑也罢，最好的重用单位自然还是：函数。故而，对于一个大数据处理平台而言，倘若不能支持函数的扩展，确乎是不可想象的。Spark首先是一个开源框架，当我们发现一些函数具有通用的性质，自然可

2017-09-08 16:30:26 737