当前搜索:

X-Pack的machine learning

如何使用X-Pack的machine learning 最近在使用X-Pack中的机器学习功能,主要的就是利用非监督的时间序列模型,用来检测流量的变化,关于X-Pack这块的文章好像可以参考的比较少,所以我在这篇文章中大致的把X-Pack的机器学习功能做一个简单的介绍。 1. X-...
阅读(437) 评论(0)

pyspark的pickle.PicklingError

今天在用pyspark的时候在一个类中调用rdd的map的时候报错,代码如下:rdd = df.filter(size(df.emission) > 50).\ rdd.map(lambda row:hmm_learn(row, self._id)) rdd.collect...
阅读(781) 评论(1)

一行代码引发的"血案"

昨天在使用pykafka的时候又遇到了之前我遇到过的PartitionOwnedError、ConsumerStoppedException异常,关于这个异常我之前写过一篇分析的文章(链接在这里),我自认为之前应该是把这个问题彻底解决了的,但是这次它又幽灵般的出现了,使我百思不得其解。 一、问题...
阅读(710) 评论(0)

Python2的function cache实现

今天看到Python3中有lru_cache的function cache,无聊就试着在Python2.7中实现了一个简单的版本:#!env python #coding=utf-8 # # Author: liuxingen@nsfocus.com # # Created Tim...
阅读(1033) 评论(0)

multiprocessing解析(二):Pool解析

前面一篇已经把multiprocessing.Process这个最基础的类给解剖了,接下来的这篇就是整个multiprocessing中最重要的类Pool的浅析了,因为如果把Pool的所有方方面面都顾及到的话篇幅会比较长,所以我只会把Pool的整体框架整理一下,细节的内容可以更多的去阅读源码。 ...
阅读(2143) 评论(0)

multiprocessing解析(一):Process的解析

最近项目中为了提升Python的运行效率,要使用到multiprocessing模块,场景其实不算复杂但是为了避免带来一些隐晦的bug,我觉得还是深入了解一下它比较好。因为当我使用multiprocessing的时候我觉得Python替我做的事情太多了(其实也就是用multiprocessing太...
阅读(4376) 评论(0)

pykafka性能比较

最近做了一下pykafka的性能测试,主要涉及到use_greenlets、use_rdkafka、sync这三个参数。 1. 测试的数据 我用一个770MB的日志文件来作为测试数据,文件包含的行数为10175702 行。 2. 测试的demo 在写测试demo的时候遇到了几个问题,别看这...
阅读(3713) 评论(7)

python-daemon日志记录的一个小问题

最近用到了python-daemon这个库来使一个进程成为daemon进程,代码大致如下:#!env python #coding=utf-8 import logging import multiprocessing import logging.configimport daemonfrom ...
阅读(1289) 评论(0)

Django的request.POST获取不到内容的原因

我通过如下的一段程序发送post请求:import urllib3 pool = urllib3.connection_from_url('http://127.0.0.1:8090') resp = pool.request('POST', '/polls/', fields={'key1':'...
阅读(5060) 评论(3)

解决centos中"ImportError: No module named _tkinter"问题

今天想要用Metasploit的时候出现了"ImportError: No module named _tkinter"的错误,_tkinter是被Tkinter模块引用的,因为对Tkinter不太熟悉所以也不知道为什么会有这个错误。 我本身是在centos中,而且系统中存在...
阅读(4057) 评论(0)

pykafka的SessionExpiredError、PartitionOwnedError、ConsumerStoppedException

这两天一直在使用pykafka做简单的开发,但是这个看起来简单的开发任务中却遇到了几个问题,在网上找了一下好像关于这几个问题的讨论(回答)不多,在这里记录一下,为其他遇到类似问题的同学提供一些思路。 任务简化一下就是多个输入把日志信息输入kafka队列中,为了提高处理的效率在队列的另外一端开启...
阅读(2452) 评论(1)

pykafka的NoBrokersAvailableError原因

pykafka NoBrokersAvailableError kafka
阅读(5922) 评论(2)

kafka启动过程中的一个小问题

最近项目要用到kafka,按照网上的示例操作一遍,发现第一步就会报错,折腾了半天才发现问题的原因。这里记录一遍以避免同样的问题。 第一步下载了kafka的tar源码包,然后要启动zookeeper,执行如下命令: bin/zookeeper-server-start.sh -daemon co...
阅读(4057) 评论(1)

Python相对、绝对导入浅析

这篇文章从另外一个不同的视角来分析一下Python的import机制,主要的目的是为了搞懂import中absolute、relative import遇到的几个报错。 这里不同的视角是指从Python import hooks这个方面来展开,当然本身关于Python import hooks有...
阅读(21558) 评论(1)

如果获得页面跳转的最终URL

最近做一个小功能,就是获取一个页面经过跳转后的最终页面URL,这里的跳转方式包含但不仅限于HTTP 301/302、js、meta refresh。下面是我想到的三种可能的解决方式,可能会有更优的方法,期望大家提出更好的方法。 首先的解决方法就是解析html页面,获得html页面中跳转的URL。 ...
阅读(20848) 评论(7)

Cython初窥

这篇关于Cython的文章主要是用来阐述什么是Cython,Cython的主要用途是什么。对于Cython的具体用法基本不涉及,因为我觉得了解它的主要用途以及它的优缺点,那么等到有使用场景的时候再来学习一下它的document就可以了。 1. Python的扩展模块(extention modu...
阅读(5434) 评论(0)

HTTP的303、307状态码

之前在《http权威指南》中看到了HTTP的307状态码,当时因为没有找到可以实验的网站所以没有比较深的印象,今天在排查一个问题的时候恰巧遇到了HTTP/1.1 307 TemporaryRedirect,所以特意记录一下。     客户的站点url为:http://www.seechina.c...
阅读(37111) 评论(1)

ImportError: No module named 'xxx'的另外一种原因

今天遇到了一个关于Python的ImportError: No module named 'xxx'问题,其中也算是一些经验总结,特记录如下。     问题的场景大致是这样的:在django中我新建了一个名为sitesetting的app,这个app不是通过django的python manage...
阅读(13361) 评论(2)

DNS的备忘

最近稍微深入的了解了一下DNS,本文记录过程中的一些知识点作为备注。 1. 权威应答or非权威应答 在用nslookup来查询域名的DNS时有时候会出现“Non-authoritative answer“的情况。其现象如下:lxg@lxg-ThinkPad-X240:~$ nslookup b...
阅读(2996) 评论(0)

遇到的一个坑

遇到的一个坑 这两天没事看了一下Python的metaclass机制,然后把网上的一个示例直接拿来跑了一下。在示例的基础上面加了一点其它的功能想验证一下自己的想法,发现出现了一个很诡异的情形,最后发现是自己给自己挖的一个坑。 1. Python的metaclass 关于Python的metac...
阅读(965) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 35万+
    积分: 3251
    排名: 1万+
    最新评论