2016年12月_远涉江湖

12月 11月 04月 03月 02月

原创 pyspider 中文简介

注意，虽然在本文中会涉及调度策略等内容，但实际执行效果取决于具体策略实现。project脚本分为不同的 project，不同的 project 之间的任务互相独立，建议为不同的站点建立不同的 projectproject 属性group – 分组标识，暂时仅用于区分name – 脚本的名字，只允许 a-zA-Z0-9_status

2016-12-31 14:36:52 3045

原创关机时执行指定脚本

在.login中执行相应命令，或在.bashrc（用tcsh shell，在.tcshrc）里写命令。是不行的，.login是在用户登录时执行，用户可能在本地无需登录，或者在远程多个用户登录，多次登录；而.tcshrc是在shell启动时执行，登录后用户一般会多次打开shell，这样该命令或程序就会被多次执行。Linux 启动顺序：1、 BIOS自检2、运行系统内核并检测硬件3、

2016-12-29 13:39:26 2888 1

原创 mongodb not like 常用查询关键词

带查询的内容：

2016-12-15 18:49:26 5620

原创 Python DataFrame 问题记录：如何删除原来的索引，重新建立索引 reset_index

删除行索引重排：ser.reset_index(drop = True)df.reset_index(drop = True)------------------------------------------直接修列索引：df = pd.DataFrame(df,columns = ['One','Two','Three'])

2016-12-14 13:12:47 15916 2

转载 mongodb 用户权限设定

摘要： MongoDB 3.0 安全权限访问控制，在添加用户上面3.0版本和之前的版本有很大的区别，这里就说明下3.0的添加用户的方法。环境、测试：在安装MongoDB之后，先关闭auth认证，进入查看数据库，只有一个local库，admin库是不存在的：root@zhoujinyi:/usr/local/mongo4# mongo --por

2016-12-08 11:23:05 476

原创 mongodb 遇到的问题记录，开机启动， web 访问

晚上用 nohup 启动了 mongod，第二天早晨起床发现 mongod 退出了，查了一下日志，发现如下线索。判断是 shell 退出时mongod 随之退出了。正确的启动方法应该是用 fork 参数后台启动。2016-12-08T00:07:55.265+0800 I CONTROL [signalProcessingThread] got signal 1 (Hangup

2016-12-08 08:30:06 2923

原创 ubuntu16.04 mongodb允许远程访问

介绍如何安全的配置 mongodb 局域网内部远程访问。测试环境:UBUNTU 16.04MongoDB Server私有IP – 192.168.10.60MongoDB shell version: 3.2.11, port 27017Application Server (Same LAN network)私有IP – 192.168.10

2016-12-07 11:29:10 4192

原创 Scrapy Ubuntu 软件包

Scrapy Ubuntu 软件包0.10 新版功能.Scrapinghub 发布的apt-get可获取版本通常比Ubuntu里更新，并且在比 Github 仓库 (master & stable branches) 稳定的同时还包括了最新的漏洞修复。用法:把Scrapy签名的GPG密钥添加到APT的钥匙环中:sudo apt-key adv

2016-12-05 16:57:57 423

原创 crontab 环境变量与常见的问题坑

如果遇到命令手动可以执行，但是 crontab 死活错误，可以在命令行打印 $PATH1.crontab与环境变量不要假定cron知道所需要的特殊环境，它其实并不知道。所以你要保证在shelll脚本中提供所有必要的路径和环境变量，除了一些自动设置的全局变量。所以注意如下3点：1）脚本中涉及文件路径时写全局路径；2）脚本执行要用到java或其他环境变量时

2016-12-05 00:16:28 957

原创 python 时间相关

用Python计算昨天和明天的日期：>>> import datetime #导入日期时间模块>>> today = datetime.date.today() #获得今天的日期>>> print today #输出今天日期2016-01-25 >>> yesterday = today - datetime.timedelta(days=1) #用今天日期减掉时间差，

2016-12-04 21:19:04 351