张志鹏的博客

专注Python/爬虫. 能搭web,会调js; 能抓包,会反编译

排序：
默认
按更新时间
按访问量
RSS订阅

原 [原创] python logging 将 debug info 级别输出到 stdout, error warning critical 输出到 stderr

将 logging debug/info 级别的日志输出到 stdout, 将 warning, error, critical 输出到 stderr. 结果示例. 代码已经提交到 Stack Overflow 上. 详见: https://stackoverflow.com/a/55494220...

2019-04-11 18:42:14

阅读数 32

评论数 0

原 [原创] gitlab commit 集成 redmine issue

gitlab 集成 redmine issue web 容器我使用的是 nginx nginx 配置目录 /etc/nginx/nginx.conf nginx html 文件目录 /var/www/cgi/ 更改 nginx/redmine 进程运行用户 启动 nginx 后, redmine...

2019-01-29 14:20:28

阅读数 195

评论数 0

原 [原创] python convert dict to object like javascript use munch(bunch)

python convert dict to object like javascript install pip install munch # (munch clone from bunch, but bunch has not update long time) example from ...

2018-12-19 18:21:10

阅读数 54

评论数 0

原 [原创] python monitor log end content send to html use websocket

Use Python monitor log file end content, like tail -f, and send to html use websocket. server.py # server.py import tornado.web import tornado.http...

2018-09-13 17:28:15

阅读数 104

评论数 0

原 [原创] 调研 python json 提取工具

为便捷配置信息提取规则, 调研 json 格式的数据提取方案. jsonselect css selector 实现 $ pip install jsonselect >>> import jsonselect as...

2018-08-31 18:23:05

阅读数 270

评论数 0

原 [原创] layer.js 实现自适应置顶消息流

使用 layer.js 实现只适应置顶消息流, 官网只提供了 API 可以指定, 但只能显示一个, 第二个会删除前一个消息框. 通过查看源码, 如果类型是 dialog, 会调用 closeAll(“dialog”), 清除之前所有的 [type=dialog] 消息框. 只需要将 type ...

2018-08-27 19:23:54

阅读数 372

评论数 0

原 [原创] 在已有 python2 代码快速实现协程. gevent grequests 协程效率对比

重新研究了一下 python 协程, 用 在 python2 中用 gevent/grequests 实现, 做了一些对比. 目的是想在 python2 的现有代码的基础上, 在改动量最小的前提下实现协程. grequests 也是用 gevent 实现的, 对 requests 进行了一些补...

2018-08-02 18:14:26

阅读数 240

评论数 0

原 [原创] 记一次 ElasticSearch 问题查找 - 数据同步非常慢

开始是三个节点组成的集群, 后加了两台. 但是同步数据变的非常慢. 追查问题后发现是 ulimit 配置不当导致. $ curl 192.168.3.48:9200/_nodes/stats/process?filter_path=**.max_file_descriptors { ...

2018-08-02 17:16:53

阅读数 555

评论数 2

原 [原创] NAS iscsi 开机启动自动挂载

NAS 开机启动自动挂载. 局域网内有一台 NAS, 上面分了多块 Target, 多台机器都会使用这台 NAS, 但是发现 NAS 自动挂载有问题. 明明只在某台机器挂载了某一个 Target, 但所有机器重启之后, 这台机器上可能会挂载上别的 Target. (只是链接到这台机器, fd...

2018-07-25 11:25:20

阅读数 1231

评论数 0

原 【原创】elasticsearch 一些整理总结

16年公司检索系统是用的 solr, 但使用过程中发现太糟心, 十分难用- - 17年初换到 es. 把当时整理的知识点记录一下. 机器配置: 1台 centos, 2台 ubuntu. 内存: 64G, CPU: 8核 硬盘: 8TB(SAS, es 数据), 250GB(SSD, 系...

2018-07-09 16:46:21

阅读数 397

评论数 0

原 [原创] Python 让 SimpleHTTPServer 支持DELETE, 并且支持非阻塞模式

将常有一些小需求搭建一个文件服务器下载数据, 大家一般都会用 python -m SimpleHTTPServer 但是这样有个问题, 这样是阻塞模式. 多个人下载文件时, 如果有一个人在下大文件, 后面的人就会一直等待响应. # 查看 SimpleHTTPServer 源码 # lib...

2018-06-06 17:24:58

阅读数 462

评论数 0

原 【原创】Nominatim 快速部署/备份还原(PGSQL 数据库文件)

nominatim 物理迁移, 其实是迁移 PGSQL 的数据库文件. 因为 nominatim 数据库文件少则几个GB, 多则几百 GB. 如果每次部署都使用 setup.php 进行导入, 时间非常慢. 测试 1.5MB 的马尔代夫地理信息 pbf 文件, 整个入库用了5分钟. (测试机用...

2018-05-15 12:31:27

阅读数 303

评论数 0

原 [原创] RavenDB 安装 使用

RavenDB 安装/使用上一篇文章介绍了 CouchDB, 这篇文章介绍一下 RavenDB安装使用. RavenDB 也是支持对记录做版本管理的数据库. 默认是不支持的, 需要手动设置. 官网: https://ravendb.net RavenDB Github: https://gi...

2018-04-11 18:40:42

阅读数 502

评论数 0

原 [原创] couchdb 安装/使用

couchdb 安装/使用 需求: 要对数据库中的记录做版本管理. 通过调查, 排除了 es, mongodb, couchBase, ravendb 最终选用了 couchdb. 之所以选用 couchdb, 是因为 couchdb 是支持对文档所版本管理. 而且默认查询可...

2018-04-09 20:30:07

阅读数 1111

评论数 0

原 [原创] elasticsearch 导出工具 elasticdump

// 日志记录 2017-11 项目是 node 写的, 依赖 nodejs, https://www.npmjs.com/package/elasticdump GitHub 地址: https://github.com/taskrabbit/elasticsearch-dump备份文件el...

2018-04-08 18:46:37

阅读数 2599

评论数 1

原 [原创] 前端 diff 文本 - mergely

介绍 需要前端展示文本编辑历史, 并做 diff. 找了三个库, 分别是: CodeMirror, DiffMatchPatch, Mergely CodeMirror 效果不是很好, DiffMatchPatch 是 Google 开发的, 感觉实现后效果同样不好.最后选用了 Mergel...

2018-04-08 11:37:56

阅读数 2685

评论数 10

原 [原创] 即时编辑 html JQuery 库 - Jeditable

官网地址: https://appelsiini.net/projects/jeditable/ Github 地址: https://github.com/NicolasCARPi/jquery_jeditable 这是实现的仅仅是修改 HTML 的展示, 所以不需要发请求提交更改. e...

2018-03-27 11:41:41

阅读数 573

评论数 0

原 [原创] 嵌入式浏览器 使用 nw.js 打包windows 版的嵌入式浏览器 移动桌面应用

嵌入式浏览器调研 CEF (Chromium Embedded Framework) : https://bitbucket.org/chromiumembedded/cef nw.js(Chromium/Node.js) https://github.com/nwjs/nw.js HEX(...

2018-03-06 18:37:09

阅读数 865

评论数 0

原 [原创] 树莓派 shell 重启 USB 设备

在树莓派上用 shell 重启 usb 设备cd /sys/devices/platform/soc/ echo 0 > buspower; sleep 10; echo 1 > buspower;

2018-01-26 13:03:40

阅读数 366

评论数 1

原 [原创]解决Chrome dev 模式下 调试插件的问题

Debug 网页的时候, 如果 Chrome 安装了一些插件, Chrome 会对这些插件也进行 Debug, 尤其是一些周期性的 JS 代码. 网上解决办法都是屏蔽某一个, 其实可以屏蔽全部. 打开 dev tool, 再打开设置(F1), 在 blackboxing 加入一项: ^chro...

2018-01-11 19:03:27

阅读数 530

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭