willdeamon-CSDN博客

原创 TimeWait状态说明

TimeWait tcp连接过多,原因

2017-08-29 10:12:29 864

原创 python调用c

本文参考于：《Python Cookbook》具体代码参考：https://github.com/zsluedem/c-with-python注意：本文件夹中的sample.c为原生底层c语言模块，以下都以这个文本作为基础，对此库进行python的封装。sample.c中有4个基本函数：gcd, in_mandel, divide, avg, distance一个数据结构：Point —代表

2017-08-26 17:00:31 408

TCP_NODELAY 和 TCP_CORK介绍TCP_NODELAY和TCP_CORK基本上控制了包的“Nagle化”，Nagle化在这里的含义是采用Nagle算法把较小的包组装为更大的帧。 John Nagle是Nagle算法的发明人，后者就是用他的名字来命名的，他在1984年首次用这种方法来尝试解决福特汽车公司的网络拥塞问题（欲了解详情请参看IETF RFC 896）。他解决的问题就是所谓的

2017-08-07 11:21:19 319

原创琐碎笔记

ntpdate -u host 用于同步机器时间

2017-01-09 15:19:34 230

原创 wsgi pep333

wsgi介绍参考:pep 333wsgi 有两个interface:server/gateway和application/framework。server会调用一个由app提供的可callable 对象。而app怎么提供这个对象给server,就由server决定了。有些server需要app写一个script 来创建一个对象给server,有些server就直接根据config或者其它机制来调用这

2016-12-07 15:27:17 348

原创 scikit-learn 进行tf-idf计算

参考网站：sciki-learn feature-extractiontf-idf基本概念tf-idf主要是用于提取文本关键词，在文本中，有些词语如：我，你，他这种词会在大量文本出现，而对文本的分类起不大作用的词语。这时候使用tf-idf提取文本的关键词就可以把这些通用次筛选掉了。直接上公式了，一个词的tf-idf用下式计算：其中tf是词在一个文本出现的次数,idf指一个词在所有文本出现的值

2016-12-06 15:41:08 569

原创 sparse matrix(稀疏矩阵)

sparse matrix(稀疏矩阵)下文大致参考sparse_matrix-维基百科最近在接触sklearn 进行自然语言处理的时候，发现做类似tf-idf等等这样的算法时候，很多时候自然语言得出来的矩阵里面，是含有很多个0这样的元素的。这时候如果用一个大矩阵去处理数据，很容易造成内存不足（我处理100多万份短文本，分词后转化为矩阵明显是不足的），经过我研究，sklearn是默认使用一种spars

2016-12-05 14:54:14 12681

原创 kvm安装与配置

kvm安装与配置本文全部参照文档：https://help.ubuntu.com/community/KVM 进行。查看系统是否适合安装kvm egrep -c ‘(vmx|svm)’ /proc/cpuinfo如果显示1或者更多，证明cpu支持硬件虚拟化（hardware virtualization）。如果显示为0，证明cpu不支持虚拟化，应该是不能进行kvm安装了，不排除有其它方法。

2016-11-17 11:59:08 773

原创 pyspark map,reduce接收参数

查看spark官方档，发现map, reduce的方法都指定只能代如固定一个参数（map）或者两个参数（reduce）现在工作发现，想要多把代入参数到map,和reduce的方法里面.查了下，发现以下方法。先定义一个函数：def func(a, extra_para): k = a + extra_para return k然后map 的时候：rd

2016-11-14 16:16:48 8920 1

原创 python 创建egg

最近需要使用spark 运算数据，我是个Pythoner，自然用的是pyspark啦！其中遇到一个问题，就是自己写的一些package，在spark中的map,reduce中并不能引用这个包里的函数。查文档说是要把python 的package打包成egg，再提交上去才能正确引入。上网查询了下python 打包，现在都是用setuptools，直接在package下穿件一个

2016-11-14 15:37:23 2377

原创服务器遇到close wait解决

昨晚上同事把代码部署到服务器上遇到web后端代码无反应的情况。用命令netstat查看发现有很多close wait的情况。以前没有遇到这种情况。百度了下。更深入的了解到tcp的一些机制。重点在关闭连接的时候，按照现在的情况是应该是浏览器主动关闭发送fin给服务器，然后服务器程序仍然在运行。没有关闭这个连接。多次模仿整个连接过程（通过发送请求）。发现浏览器在发送请求后一直没

2016-11-05 10:37:51 1735

willdeamon的博客