- 博客(19)
- 收藏
- 关注
RSS订阅原创 scrapy缺省配置
BOT_NAME = ‘scrapybot’ CLOSESPIDER_TIMEOUT = 0 CLOSESPIDER_PAGECOUNT = 0 CLOSESPIDER_ITEMCOUNT = 0 CLOSESPIDER_ERRORCOUNT = 0 COMMANDS_MODULE = ” CONCURRENT_ITEMS = 100 CONCURRENT_REQUE...
2016-03-09 13:02:26
185
原创 基于CentOS6.5,statsD和Graphite的部署过程
最近在整理爬虫，采用scrapy，想部署一套分布式爬虫系统，graphite作为爬虫的监控，废话不多说直接上手 系统版本：CentOS release 6.5 (Final) Python版本：Python 2.7.6 开始部署Graphite 1、系统依赖 [quote]yum -y install libpng-devel[/quote] 2、安装mysql、nginx（此...
2015-05-06 18:52:19
196
原创 CentOS6.5添加163yum源
cd /etc/yum.repos.d mv CentOS-Base.repo CentOS-Base.repo.bk wget http://mirrors.163.com/.help/CentOS6-Base-163.repo yum makecache
2015-04-02 16:21:33
179
原创 linux服务器优化
linux服务器优化 ①、/etc/sysctl.conf 文件 kernel.shmall = 4294967296 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1800 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tc...
2015-01-26 10:57:33
148
原创 yum 安装 redis
redis在官方源上是没有的，需要安装其他的源，其他源的地址为 http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm 安装步骤如下 # wget http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm...
2014-12-28 12:57:39
110
原创 CentOS Linux搭建独立SVN Server
1.首先 看看机器上安装了svn了没有 rpm -qa |grep svn 2.如果没有安装 执行 yum -y install subversion 3.安装好了之后 新建一个svn目录 mkdir /home/svn 4.新建一个版本仓库 svnadmin create /home/svn/project 红色部分是版本仓库名 在配置文件中会使用的 5.将你需要放在svn...
2014-12-24 00:33:20
86
原创 CentOS6.5使用yum命令方便快捷安装Nginx
1.为了追加 nginx 的 yum 仓库，需要创建一个文件 /etc/yum.repos.d/nginx.repo，并将下面的内容复制进去： [nginx] name=nginx repo baseurl=http://nginx.org/packages/centos/$releasever/$basearch/ gpgcheck=0 enabled=1 2.编辑并保存/etc/...
2014-12-22 11:15:25
133
原创 linux mysql
一、设置mysql远程访问 grant all on *.* to root@'%' identified by '密码'; flush privileges; 二、设计mysql开机启动 chkconfig mysqld on 三、查看开机启动项 chkconfig --list 字符集修改 [mysqld] default-character-set=utf8 [...
2014-12-13 16:27:31
89
原创 scrapy install
一、安装Python2.7.6 更新CentOS lib库文件 [code]yum -y update[/code] 安装开发工具包 [code="java"]yum groupinstall -y development[/code] 安装扩展包 [code="java"]yum install -y gcc libffi-devel zlib-dev openssl-d...
2014-11-21 22:31:01
97
原创 高并发访问httpclient抛出Too many open files的解决办法
代码种只用post.releaseConnection()关闭连接，经过再网上查找资料，说这种关闭并没有真正关闭连接，而是将该连接提交给 MultiThreadedHttpConnectionManager，等待复用。Close_wate需要延迟几秒钟才能关闭连接，而每个Socket连接都需要等待几秒钟，压力过大时，开启的Socket连接超过了系统所能承受的最大连接数（ulimi...
2014-09-17 10:34:23
1532
原创 IO中同步、异步与阻塞、非阻塞的区别
一、同步与异步同步/异步, 它们是消息的通知机制1. 概念解释A. 同步同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。按照这个定义，其实绝大多数函数都是同步调用（例如sin isdigit等）。但是一般而言，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要一定时间完成的任务。最常见的例子就是 SendMessage。该函数发送一个消息给某个窗口，在对方处理完消息...
2014-09-16 17:43:31
102
原创 如何使用spring的autowire为servlet注入bean
在应用中一般普通的JavaPojo都是由Spring来管理的，所以使用autowire注解来进行注入不会产生问题，但是有两个东西是例外的，一个是 Filter，一个是Servlet，这两样东西都是由Servlet容器来维护管理的，所以如果想和其他的Bean一样使用Autowire来注入的 话，是需要做一些额外的功夫的。 对于Filter，Spring提供了DelegatingFilterProx...
2014-09-15 10:19:03
140
原创 JAVA 生成 指定范围 随机数
[code="java"]生成指定范围内的随机数 这个是最常用的技术之一。程序员希望通过随机数的方式来处理众多的业务逻辑，测试过程中也希望通过随机数的方式生成包含大量数字的测试用例。问题往往类似于： 如何随机生成 1~100 之间的随机数，取值包含边界值 1 和 100。 或者是： 如何随机生成随机的3位整数？ 等等…… 以 Java 语言为例，我们观察其 Random 对象的 nex...
2014-08-29 10:49:51
209
原创 Java程序员应该了解的10个面向对象设计原则
面向对象设计原则是OOPS（Object-Oriented Programming System，面向对象的程序设计系统）编程的核心，但大多数Java程序员追逐像Singleton、Decorator、Observer这样的设计模式，而不重视面向对象的分析和设计。甚至还有经验丰富的Java程序员没有听说过OOPS和SOLID设计原则，他们根本不知道设计原则的好处，也不知道如何依照这些原则来进行编...
2014-08-26 10:05:20
91
原创 RabbitMQ之RabbitMQ安装
[b]simplejson安装[/b] 1、wget http://pypi.python.org/packages/source/s/simplejson/simplejson-下载simplejson 2、tar zxvf simplejson-2.4.0.tar.gz解压缩文件 3、cd simplejson-2.4.0，python setup.py install。这是由于simp...
2014-07-11 15:50:21
322
原创 RabbitMQ之Erlang安装
RabbitMQ是基于Erlang的，所以首先必须配置Erlang环境. 小生使用yun install 1、 yum groupinstall Base "Development Tools" "Perl Support" 2、 yum install gcc glibc-devel make ncurses-devel openssl-devel autoconf 3、 ...
2014-07-11 12:07:18
156
mac系统mysql5.6.17修改字符集
[size=medium]在mysql官网上下载最新的mysql for MacOS 5.6.17(dmg版本)安装过程中没有发现让选择字符集的位置,安装成功以后 mysql> show variables like '%char%'; +--------------------------+---------------------------------------------------...
2014-05-28 09:20:21
116
获取 springBean 工具类
[code="java"] package com.secoo.wechat.util; import org.springframework.context.support.ClassPathXmlApplicationContext; /** * @Description : 获取springBean工具类 * * @author : Q80082828 * @da...
2014-05-22 10:20:58
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人