X-Pack的machine learning

如何使用X-Pack的machine learning 最近在使用X-Pack中的机器学习功能,主要的就是利用非监督的时间序列模型,用来检测流量的变化,关于X-Pack这块的文章好像可以参考的比较少,所以我在这篇文章中大致的把X-Pack的机器学习功能做一个简单的介绍。 1. X-...

2018-01-31 23:32:34

阅读数 1496

评论数 0

pyspark的pickle.PicklingError

今天在用pyspark的时候在一个类中调用rdd的map的时候报错,代码如下:rdd = df.filter(size(df.emission) > 50).\ rdd.map(lambda row:hmm_learn(row, self._id)) rdd.collect...

2017-08-21 18:08:27

阅读数 1859

评论数 1

一行代码引发的"血案"

昨天在使用pykafka的时候又遇到了之前我遇到过的PartitionOwnedError、ConsumerStoppedException异常,关于这个异常我之前写过一篇分析的文章(链接在这里),我自认为之前应该是把这个问题彻底解决了的,但是这次它又幽灵般的出现了,使我百思不得其解。 一、问题...

2017-07-15 17:07:17

阅读数 1666

评论数 0

Python2的function cache实现

今天看到Python3中有lru_cache的function cache,无聊就试着在Python2.7中实现了一个简单的版本:#!env python #coding=utf-8 # # Author: liuxingen@nsfocus.com # # Created Tim...

2017-05-28 10:19:14

阅读数 2028

评论数 0

multiprocessing解析(二):Pool解析

前面一篇已经把multiprocessing.Process这个最基础的类给解剖了,接下来的这篇就是整个multiprocessing中最重要的类Pool的浅析了,因为如果把Pool的所有方方面面都顾及到的话篇幅会比较长,所以我只会把Pool的整体框架整理一下,细节的内容可以更多的去阅读源码。 ...

2017-05-22 19:21:07

阅读数 5356

评论数 0

multiprocessing解析(一):Process的解析

最近项目中为了提升Python的运行效率,要使用到multiprocessing模块,场景其实不算复杂但是为了避免带来一些隐晦的bug,我觉得还是深入了解一下它比较好。因为当我使用multiprocessing的时候我觉得Python替我做的事情太多了(其实也就是用multiprocessing太...

2017-05-21 09:45:41

阅读数 12107

评论数 0

pykafka性能比较

最近做了一下pykafka的性能测试,主要涉及到use_greenlets、use_rdkafka、sync这三个参数。 1. 测试的数据 我用一个770MB的日志文件来作为测试数据,文件包含的行数为10175702 行。 2. 测试的demo 在写测试demo的时候遇到了几个问题,别看这...

2017-05-12 22:41:32

阅读数 6188

评论数 7

python-daemon日志记录的一个小问题

最近用到了python-daemon这个库来使一个进程成为daemon进程,代码大致如下:#!env python #coding=utf-8 import logging import multiprocessing import logging.configimport daemonfrom ...

2017-05-04 13:46:16

阅读数 2393

评论数 0

Django的request.POST获取不到内容的原因

我通过如下的一段程序发送post请求:import urllib3 pool = urllib3.connection_from_url('http://127.0.0.1:8090') resp = pool.request('POST', '/polls/', fields={'key1':'...

2017-01-07 17:34:14

阅读数 14431

评论数 7

解决centos中"ImportError: No module named _tkinter"问题

今天想要用Metasploit的时候出现了"ImportError: No module named _tkinter"的错误,_tkinter是被Tkinter模块引用的,因为对Tkinter不太熟悉所以也不知道为什么会有这个错误。 我本身是在centos中,而且系统中存在...

2016-12-28 14:16:18

阅读数 6519

评论数 0

pykafka的SessionExpiredError、PartitionOwnedError、ConsumerStoppedException

这两天一直在使用pykafka做简单的开发,但是这个看起来简单的开发任务中却遇到了几个问题,在网上找了一下好像关于这几个问题的讨论(回答)不多,在这里记录一下,为其他遇到类似问题的同学提供一些思路。 任务简化一下就是多个输入把日志信息输入kafka队列中,为了提高处理的效率在队列的另外一端开启...

2016-11-26 18:24:03

阅读数 3230

评论数 1

pykafka的NoBrokersAvailableError原因

pykafka NoBrokersAvailableError kafka

2016-11-17 16:34:27

阅读数 14366

评论数 4

kafka启动过程中的一个小问题

最近项目要用到kafka,按照网上的示例操作一遍,发现第一步就会报错,折腾了半天才发现问题的原因。这里记录一遍以避免同样的问题。 第一步下载了kafka的tar源码包,然后要启动zookeeper,执行如下命令: bin/zookeeper-server-start.sh -daemon co...

2016-11-06 11:33:07

阅读数 5555

评论数 3

Python相对、绝对导入浅析

这篇文章从另外一个不同的视角来分析一下Python的import机制,主要的目的是为了搞懂import中absolute、relative import遇到的几个报错。 这里不同的视角是指从Python import hooks这个方面来展开,当然本身关于Python import hooks有...

2016-09-15 16:10:41

阅读数 23304

评论数 1

如果获得页面跳转的最终URL

最近做一个小功能,就是获取一个页面经过跳转后的最终页面URL,这里的跳转方式包含但不仅限于HTTP 301/302、js、meta refresh。下面是我想到的三种可能的解决方式,可能会有更优的方法,期望大家提出更好的方法。 首先的解决方法就是解析html页面,获得html页面中跳转的URL。 ...

2016-08-06 16:15:23

阅读数 26289

评论数 7

Cython初窥

这篇关于Cython的文章主要是用来阐述什么是Cython,Cython的主要用途是什么。对于Cython的具体用法基本不涉及,因为我觉得了解它的主要用途以及它的优缺点,那么等到有使用场景的时候再来学习一下它的document就可以了。 1. Python的扩展模块(extention modu...

2016-06-14 14:38:03

阅读数 7431

评论数 0

HTTP的303、307状态码

之前在《http权威指南》中看到了HTTP的307状态码,当时因为没有找到可以实验的网站所以没有比较深的印象,今天在排查一个问题的时候恰巧遇到了HTTP/1.1 307 TemporaryRedirect,所以特意记录一下。     客户的站点url为:http://www.seechina.c...

2016-05-26 22:43:33

阅读数 46085

评论数 1

ImportError: No module named 'xxx'的另外一种原因

今天遇到了一个关于Python的ImportError: No module named 'xxx'问题,其中也算是一些经验总结,特记录如下。     问题的场景大致是这样的:在django中我新建了一个名为sitesetting的app,这个app不是通过django的python manage...

2016-05-19 09:32:23

阅读数 18767

评论数 3

DNS的备忘

最近稍微深入的了解了一下DNS,本文记录过程中的一些知识点作为备注。 1. 权威应答or非权威应答 在用nslookup来查询域名的DNS时有时候会出现“Non-authoritative answer“的情况。其现象如下:lxg@lxg-ThinkPad-X240:~$ nslookup b...

2016-05-10 22:27:39

阅读数 3869

评论数 0

遇到的一个坑

遇到的一个坑 这两天没事看了一下Python的metaclass机制,然后把网上的一个示例直接拿来跑了一下。在示例的基础上面加了一点其它的功能想验证一下自己的想法,发现出现了一个很诡异的情形,最后发现是自己给自己挖的一个坑。 1. Python的metaclass 关于Python的metac...

2015-12-01 13:36:30

阅读数 1021

评论数 0

提示
确定要删除当前文章?
取消 删除