2018年01月_京金

转载 urllib库python2和python3具体区别

转载来源：http://blog.csdn.net/whatday/article/details/54710403Python 2 namePython 3 nameurllib.urlretrieve()urllib.request.urlretrieve()urllib.urlcleanup()urllib.request.urlcleanup()urll

2018-01-31 09:35:36 132

转载 xpath

本文绝大部分来自于《python爬虫开发与项目实战》 https://www.cnblogs.com/lonenysky/p/4649455.html 有四个方面：节点、语法、轴、运算符。 1）节点：表达式描述nodename 选取此节点的所有子节点/ 从根节点选取// ...

2018-01-29 14:32:48 164

转载 ssh免密失败

我的问题是：root目录权限过大导致改：chmod 550 /root 参考地址： https://www.cnblogs.com/yjmyzz/p/4481720.html

2018-01-26 00:27:12 379

转载 pip3安装scrapy

https://www.cnblogs.com/wenchengxiaopenyou/p/5709218.html 可以直接去看原文，不多述。碰到一些问题。pip3 install scrapy时，报错，缺少Python.h。但是已经安装gcc，以及python3-dev. 提示看了下，是pip3是8的，升级一下。然后保存，缺少python.h 我的是yum 装的python34

2018-01-22 16:11:37 761

转载 python操作文件和目录

本来摘自《python爬虫开发与项目实践》一书。获取当前python脚本工作路径：os.getcwd()返回指定目录下所有文件和目录：os.listdir()删除一个文件：os.remove(filepath)删除多个空目录：os.removedirs(r"d:\python")检验给出的路径是否是一个文件：os.path.isfile(filepath)检验给出的路径是否是一个

2018-01-22 11:35:59 115

转载 vim常用命令

本文内容来自《Vim实用技巧》一书。可以自行去购买阅读。 .:x:删除后面的字符，一次一个。nx:删除后面的n个字符，如2xdd：删除一行。ndd：删除n行，如5ddyy:复制一行。同理nyypp:粘贴一行，同理npp:ctal-pdw:删除光标所在的单词

2018-01-17 18:37:20 183

转载 flask 如何传参数到 js中，避免& # 39等转义

http://blog.csdn.net/wangqing008/article/details/48437793经常会有字符空格 ' "" 等被转义成其他字符，这其实是特殊字符进行转义,防止js注入在js中可以利用tojson解决。比如数组 num = ["ni"]，经过flask的 {{num}}传入js后，就变成了'ni'解决方法利用js的tojs

2018-01-15 19:19:52 8930 5

原创百度echart使用小记

1.）下载一份echart.min.js 当然也有其他方式。我是下载了一份min的到本地。官网快速上手指南： http://echarts.baidu.com/tutorial.html#5%20%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8B%20ECharts 2）编辑html文件： first.htmlhtml>head> meta c

2018-01-14 00:46:36 1279

转载 MySQLdb 的 Integer 字段类型转换 long - int

http://www.codeweblog.com/mysqldb-%E7%9A%84-integer-%E5%AD%97%E6%AE%B5%E7%B1%BB%E5%9E%8B%E8%BD%AC%E6%8D%A2-long-int/

2018-01-13 22:31:39 1231

原创 51job的scrapy爬虫

ps:遇到了几个坑，1。自己写的正则以为没问题，结果实际没匹配到。2。allowed_domains = [‘51job.com’] 。刚开始是search.51job.com。但是我的rule中的一个是另个一个域名的，所以都被过滤掉了。查看debug日志才发现。3。vim缩进问题，在vim中看不出来。nano下编辑发现了。主要更改的文件如下： 1)pipeline.pyimport jsonc

2018-01-12 10:34:29 497

转载（转）python scrapy rule

原文链接：http://blog.csdn.net/wqh_jingsong/article/details/56865433 一般爬虫的逻辑是：给定起始页面，发起访问，分析页面包含的所有其他链接，然后将这些链接放入队列，再逐次访问这些队列，直至边界条件结束。为了针对列表页+详情页这种模式，需要对链接抽取（link extractor）的逻辑进行限定。好在scrapy已经提

2018-01-11 15:32:50 325

原创 zabbix server压力大问题：启用agent客户端主动模式

ps:今天我发现我的zabbix上监控的数据有严重的时延，所以调整了部分监控项，将一半以上的监控项改为agent客户端主动模式。这时候有个问题需要注意：那就是主机的名称必须和zabbix_agentd.conf中的Hostname配置一样所以在应该修改如下：这样就部分解决了server压力大的问题。之后zabbix的实时数据也打开慢，启动了慢查询，发现了hist...

2018-01-05 09:40:44 5945

转载 python 类的内置方法

(1)__str__:http://blog.csdn.net/xiaofeng_yan/article/details/6616743$cat test.py class A: def __str__(self): return "this is in str"if __name__ == "__main__": a = A() prin...

2018-01-03 19:34:58 211

转载 python设计模式（二）：建造者模式

什么时候用到：如果我们知道一个对象必须经过多个步骤来创建，并且要求同一个构造过程可以产生不同的表现，这就需要用到建造模式。该模式中，有两个参与者：建造者和指挥者。建造者负责创建复杂对象的各个组成部分。指挥者使用一个建造者势力控制建造过的过程建造者模式和工厂模式的区别：这两个区别不太明确，主要的区别在于工厂模式以单个步骤创建对象，而建造者模式以多个步骤创建对象，并且几乎始终一个指挥者。另一

2018-01-03 19:20:37 174

转载 scrapy学习小结

1.scrapy新建爬虫项目：scrapy startproject 项目名如：scrapy startproject itcast[root@VM_131_54_centos pachong]# tree itcast itcast |– itcast | |– init.py | |– items.py #项目的数据容器文件，主要用来定义我们要获取的数据 |

2018-01-02 17:46:00 457

baidu_36831253的博客