2017年11月_mergerly

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载一步步分析百度音乐的播放地址，利用Python爬虫批量下载

百度音乐不需要登录也可以下载？听到这个消息是不是很兴奋呢，接下来我们打开百度音乐,随便打开一首歌，切换到百度播放页面：如图我这里用的是Firfox 浏览器，打开firebug 先清空所有的请求，如图：现在我们重新刷新下页面，看到这个.mp3的地址就是百度音乐的地址，我们可以直接复制到迅雷里下载，但是这种做法太初级了吧，如果有很多首歌曲呢，每个都这样复制，岂不是很

2017-11-21 11:14:11 762

转载 TARS快速入门(NodeJs)

1 前言一个NodeJs应用程序框架需要关注很多问题，如自动发布、多机部署、负载均衡、监控报警、日志的输出与管理、服务异常重启等等，而Tars应用程序框架就提供了解决这些问题的一整套方案。Tars是腾讯从2008年到今天一直在使用的后台逻辑层的统一应用框架TAF（Total Application Framework），目前支持C++,Java和NodeJs三种语言。tars-node

2017-11-17 14:16:41 9118

转载友盟数据平台负责人吴磊：移动大数据平台的架构与实践

MDCC移动开发者大会友盟大数据数据挖掘架构摘要：移动互联网与大数据几乎是一种相生相伴的关系，回归到App研发，到后期尤其需要数据与运营。在MDCC 2015移动开发者大会平台与技术Android专场上，友盟数据平台负责人吴磊分享了友盟大数据平台的架构与实践。【CSDN现场报道】10月14日-16日，“ 2015移动开发者大会 · 中国”（Mobile Developer Confer

2017-11-16 18:50:00 1766

转载分布式系统监控平台-Overwatch架构设计（已开源）

作者介绍：张玄，毕业于南京大学软件学院。初中开始自学编程，高中参与上海计算机竞赛，荣获第一名。2016年毕业后就职于达达-京东到家基础架构团队，从事基础组件、系统监控等开发工作。Overwatch是达达-京东到家自主研发并开源的分布式系统监控平台，目前广泛用于内部系统的监控，快速定位线上故障源头，并经受住了618单日订单量400万单的考验。https://github.co

2017-11-16 17:44:42 14358 1

转载使用Keras和Tensorflow检测恶意请求

原文：Detecting Malicious Requests with Keras & Tensorflow作者：Adam Kusey翻译：雁惊寒摘要：本文介绍了如何使用Keras框架来构建LSTM RNN来对正常或者恶意的网络请求进行区分。以下是译文。安全是任何一个Web应用需要关注的东西。良好的开发实践有助于抵御黑客试图窃取数据或攻击应用程序的行为。然而，

2017-11-14 21:51:14 2580

转载基于机器学习的web异常检测

Web防火墙是信息安全的第一道防线。随着网络技术的快速更新，新的黑客技术也层出不穷，为传统规则防火墙带来了挑战。传统web入侵检测技术通过维护规则集对入侵访问进行拦截。一方面，硬规则在灵活的黑客面前，很容易被绕过，且基于以往知识的规则集难以应对0day攻击；另一方面，攻防对抗水涨船高，防守方规则的构造和维护门槛高、成本大。基于机器学习技术的新一代web入侵检测技术有望弥补传统规则集方法的不

2017-11-13 21:06:56 855

转载机器学习（八）：AnomalyDetection异常检测_Python

七、异常检测 Anomaly Detectiongithub地址：https://github.com/lawlite19/MachineLearning_Python全部代码1、高斯分布（正态分布）Gaussian distribution分布函数：其中，u为数据的均值，σ为数据的标准差σ越小，对应的图像越尖参数估计（parameter estimati

2017-11-13 19:36:40 1284

转载利用Python Pandas进行数据预处理-数据清洗

概述 Pandas是Python的一个数据分析包，Pandas最初被作为金融数据分析工具而开发出来，因此，Pandas为时间序列提供了很好的支持。Pandas是基于Numpy构建的含有更高级数据结构和工具的数据分析包。Pandas的数据结构：Series：一维数组，与Numpy中的一位Array类似。二者与Python基本的数据结构List也很相近，区别是List可以放

2017-11-13 18:27:47 7339

转载 JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解

摘要: JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。现实企业级Java开发中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足

2017-11-07 18:17:51 235

转载使用sklearn优雅地进行数据挖掘

目录1 使用sklearn进行数据挖掘　　1.1 数据挖掘的步骤　　1.2 数据初貌　　1.3 关键技术2 并行处理　　2.1 整体并行处理　　2.2 部分并行处理3 流水线处理4 自动化调参5 持久化6 回顾7 总结8 参考资料1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤　　数据挖掘通常包括数据采集，

2017-11-01 19:52:05 300

转载使用sklearn做单机特征工程

目录1 特征工程是什么？2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与归一化的区别　　2.2 对定量特征二值化　　2.3 对定性特征哑编码　　2.4 缺失值计算　　2.5 数据变换　　2.6 回顾3 特征选择　　3.1 Filter　　　　3.1.1 方差选择法　

2017-11-01 17:52:55 250