davidchang365的专栏

使用机器学习必然会面临保存训练模型，和加载训练好的模型的场景。sdklearn的joblib可以满足这个需求。流程：1）训练模型2）保存模型到本地3）从本地加载训练好的模型来使用4）预测代码：import picklefrom sklearn.externals import joblibfrom sklearn.svm import SVCfrom sk...

一 什么是KNNKNN是最常见的机器学习的方法。KNN就是k个最近的邻居的意思，也就是说每个样本都可以用最近的k个邻居来代表。用句老话说就是“近朱者赤，近墨者黑”。KNN可以用于分类，也可以用于回归。用于分类时，使用少数服从多数的原则；用于回归时，则采用平均的方法。二 KNN的距离计算方法计算两个样本间的距离方法，最常见的是欧式距离/直线距离，或者是曼哈顿距离/街区距离。当...

机器学习的数据处理中，常见归一化、标准化与正则化的说法。它们都是什么意思呢？一、归一化归一化是把数据处理到一个范围内。机器学习中的数据，可能差别非常大，比如人的年龄与年收入，就不是一个数量级的数字；另外，除数字外，还有很多其他类型的数据。这些数据直接进行机器学习，效果会非常不好，这就需要归一化处理了。归一化处理后，就消除了这种不同数据类型，不同数据范围的差别了，方便数据比较和共同处理...

最近帮人解决了一个问题，ES运行时报错，failed to obtain node locks。这个错误网上有很多解决方案，基本上就是杀掉es进程，事实上，这个问题的原因可能不仅仅是一样的。“failed to obtain node locks”的原因通常是没有获得这个lock文件的操作权限，我知道的有两个原因：（1）node.lock被其他进程使用了，这也是网上大多数的解释。解决...

SQL注入是常见的WEB攻击，百度百科上的解释是：“所谓SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。”举个例子：使用用户名和密码登陆网站时，用户名填入 123' or 1=1# ，密码也类似 123' or 1=1# 。这时，攻击者是猜测后台的sql命令可能是：SELECT * FROM users ...

转：启动hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。 经过查看日志，发现 Name node is in safe mode. 解决方法：sudo -uhdfs hdfs dfsadmin -safemode leave————————————————版权声明：本文...

一，基本概念Analysis，分词，是把全文本转换成一个个的单词的过程anaylyzer，分词器，专门处理分词的组件，有三部分组成：（1）Character filters，原始文本的预处理，通常完成H...

读写分离在工程中，通常需要实现mysql读写分离。在Django中需要支持读写分离的话，只需要很简单的几步就可以了。首先，配置读库和写库。在django项目的settings.py中，配置读库和写库。DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME...

我们在360如何使用Python - virtualenv 篇这个系列的前面一部分，我们简单介绍了我们的项目的基本结构和开发流程。整个开发流程都是基于 distribute 的。关于我们如何使用distribute，会在后面一部分当中介绍。基于 distribute，我们具有了从代码构建到发布，测试和部署的基本框架。但是在实际的开发当中，我们还有一些问题需要解决，最重要的一点就是开发和运行环境...

转公司博客的文章：我们在360如何使用Python - 引言打算写这样一个系列，说说我们在360里面，如何使用Python。在360，除非是需要包含在360客户端软件当中的功能，技术人员使用什么语言进行开发，更多的是一种个人，最多是项目团队的决定。因此我们的同事会使用 php写页面，用python的工具，用c/c++写模块，甚至用易语言写界面。也正是因为这个原因，虽然这个标题写得...

常用python读取文件内容的，都知道python有几个不同的函数，完成功能一样，但细节有区别。一、read（）读取整个文件，将文件内容（包括换行）放到一个字符串变量中。需要注意的是这个函数对内存的消耗，不推荐在工程中使用。二、readline（）读取整行，包括行结束符，并作为字符串返回，保持当前行的内存。特点是不快。:)三、readlines（）比上个函数多一个s，功能就...

上个月，国外安全研究人员发现了WPA3的一组漏洞。WPA3是用来替代WPA2的，虽然还需要几年来部署，但这么快就被发现了严重漏洞，也是太意外了。这些漏洞有多严重呢？采用WPA3保护的无线网络，几乎不可能被破解出密码的。但研究报告揭示，在一定的程度上，WIFI密码依然能被破解。特别是针对支持过渡功能的设备。根据研究报告，可进行的攻击包括：安全组降级攻击，边信道攻击，拒绝服务攻击，降级&...

记录一个小知识点：Python的filter函数，当第一个参数，即function，传入None时，是在干什么呢？查了下文档，是这样解释的：filter() ParametersThe filter() method takes two parameters:function- function that tests if elements of an iterable re...

看了两篇写对比的文章，摘抄在下面。用我自己的观点看，RPC比较像体感游戏，你在挥舞小刀，切掉了屏幕上的水果；MQ比较类似博客，写了文章后，其它人来看。文章一： http://oldratlee.com/post/2013-02-01/synchronous-rpc-vs-asynchronous-message功能特点在架构上，RPC和Message的差异点是，Message有一个中...

序列化是把内存里的变量，变成可存储或者可传输到其他模块、设备的过程。web应用最常见的序列化后的标准格式有JSON，XML等。PYTHON内置的json模块对序列化、反序列化提供了完备的功能。常用接口函数：json.dump()   把对象序列化，写入类似文件的流json.dumps() 注意函数名的区别，把对象序列化成json格式的字符串，这个函数比较常用对应的反序列化的

准备做一个小功能，需要计算字符串的相似度，提前做点功课。算法字符串相似度的算法以及有很多资料了。最常见的理解就是：把一个字符串通过插入、删除或替换这样的编辑操作，变成另外一个字符串，所需要的最少编辑次数。AKA，两个字符串之间的距离。解这样一个问题，可以使用穷举法，也可以使用动态规划，大家可以自行搜索。贪婪法不适合这个问题。python-Levenshtein我