- 博客(19)
- 收藏
- 关注
RSS订阅原创 scrapy缺省配置
BOT_NAME = ‘scrapybot’CLOSESPIDER_TIMEOUT = 0CLOSESPIDER_PAGECOUNT = 0CLOSESPIDER_ITEMCOUNT = 0CLOSESPIDER_ERRORCOUNT = 0COMMANDS_MODULE = ”CONCURRENT_ITEMS = 100CONCURRENT_REQUE...
2016-03-09 13:02:26
172
原创 基于CentOS6.5,statsD和Graphite的部署过程
最近在整理爬虫，采用scrapy，想部署一套分布式爬虫系统，graphite作为爬虫的监控，废话不多说直接上手系统版本：CentOS release 6.5 (Final)Python版本：Python 2.7.6开始部署Graphite1、系统依赖[quote]yum -y install libpng-devel[/quote]2、安装mysql、nginx（此...
2015-05-06 18:52:19
189
原创 CentOS6.5添加163yum源
cd /etc/yum.repos.dmv CentOS-Base.repo CentOS-Base.repo.bkwget http://mirrors.163.com/.help/CentOS6-Base-163.repoyum makecache
2015-04-02 16:21:33
171
原创 linux服务器优化
linux服务器优化①、/etc/sysctl.conf 文件kernel.shmall = 4294967296net.ipv4.tcp_fin_timeout = 30net.ipv4.tcp_keepalive_time = 1800net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tc...
2015-01-26 10:57:33
141
原创 yum 安装 redis
redis在官方源上是没有的，需要安装其他的源，其他源的地址为http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm安装步骤如下# wget http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm...
2014-12-28 12:57:39
102
原创 CentOS Linux搭建独立SVN Server
1.首先 看看机器上安装了svn了没有 rpm -qa |grep svn2.如果没有安装 执行yum -y install subversion 3.安装好了之后 新建一个svn目录mkdir /home/svn4.新建一个版本仓库svnadmin create /home/svn/project红色部分是版本仓库名 在配置文件中会使用的5.将你需要放在svn...
2014-12-24 00:33:20
80
原创 CentOS6.5使用yum命令方便快捷安装Nginx
1.为了追加 nginx 的 yum 仓库，需要创建一个文件 /etc/yum.repos.d/nginx.repo，并将下面的内容复制进去： [nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0enabled=12.编辑并保存/etc/...
2014-12-22 11:15:25
126
原创 linux mysql
一、设置mysql远程访问grant all on *.* to root@'%' identified by '密码'; flush privileges;二、设计mysql开机启动chkconfig mysqld on三、查看开机启动项chkconfig --list字符集修改[mysqld]default-character-set=utf8[...
2014-12-13 16:27:31
77
原创 scrapy install
一、安装Python2.7.6更新CentOS lib库文件[code]yum -y update[/code]安装开发工具包[code="java"]yum groupinstall -y development[/code]安装扩展包[code="java"]yum install -y gcc libffi-devel zlib-dev openssl-d...
2014-11-21 22:31:01
87
原创 高并发访问httpclient抛出Too many open files的解决办法
代码种只用post.releaseConnection()关闭连接，经过再网上查找资料，说这种关闭并没有真正关闭连接，而是将该连接提交给 MultiThreadedHttpConnectionManager，等待复用。Close_wate需要延迟几秒钟才能关闭连接，而每个Socket连接都需要等待几秒钟，压力过大时，开启的Socket连接超过了系统所能承受的最大连接数（ulimi...
2014-09-17 10:34:23
1517
原创 IO中同步、异步与阻塞、非阻塞的区别
一、同步与异步同步/异步, 它们是消息的通知机制1. 概念解释A. 同步同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。按照这个定义，其实绝大多数函数都是同步调用（例如sin isdigit等）。但是一般而言，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要一定时间完成的任务。最常见的例子就是 SendMessage。该函数发送一个消息给某个窗口，在对方处理完消息...
2014-09-16 17:43:31
92
原创 如何使用spring的autowire为servlet注入bean
在应用中一般普通的JavaPojo都是由Spring来管理的，所以使用autowire注解来进行注入不会产生问题，但是有两个东西是例外的，一个是 Filter，一个是Servlet，这两样东西都是由Servlet容器来维护管理的，所以如果想和其他的Bean一样使用Autowire来注入的 话，是需要做一些额外的功夫的。对于Filter，Spring提供了DelegatingFilterProx...
2014-09-15 10:19:03
130
原创 JAVA 生成 指定范围 随机数
[code="java"]生成指定范围内的随机数这个是最常用的技术之一。程序员希望通过随机数的方式来处理众多的业务逻辑，测试过程中也希望通过随机数的方式生成包含大量数字的测试用例。问题往往类似于：如何随机生成 1~100 之间的随机数，取值包含边界值 1 和 100。或者是：如何随机生成随机的3位整数？等等……以 Java 语言为例，我们观察其 Random 对象的 nex...
2014-08-29 10:49:51
198
原创 Java程序员应该了解的10个面向对象设计原则
面向对象设计原则是OOPS（Object-Oriented Programming System，面向对象的程序设计系统）编程的核心，但大多数Java程序员追逐像Singleton、Decorator、Observer这样的设计模式，而不重视面向对象的分析和设计。甚至还有经验丰富的Java程序员没有听说过OOPS和SOLID设计原则，他们根本不知道设计原则的好处，也不知道如何依照这些原则来进行编...
2014-08-26 10:05:20
83
原创 RabbitMQ之RabbitMQ安装
[b]simplejson安装[/b]1、wget http://pypi.python.org/packages/source/s/simplejson/simplejson-下载simplejson2、tar zxvf simplejson-2.4.0.tar.gz解压缩文件3、cd simplejson-2.4.0，python setup.py install。这是由于simp...
2014-07-11 15:50:21
315
原创 RabbitMQ之Erlang安装
RabbitMQ是基于Erlang的，所以首先必须配置Erlang环境.小生使用yun install1、 yum groupinstall Base "Development Tools" "Perl Support" 2、 yum install gcc glibc-devel make ncurses-devel openssl-devel autoconf3、 ...
2014-07-11 12:07:18
149
mac系统mysql5.6.17修改字符集
[size=medium]在mysql官网上下载最新的mysql for MacOS 5.6.17(dmg版本)安装过程中没有发现让选择字符集的位置,安装成功以后mysql> show variables like '%char%';+--------------------------+---------------------------------------------------...
2014-05-28 09:20:21
110
获取 springBean 工具类
[code="java"]package com.secoo.wechat.util;import org.springframework.context.support.ClassPathXmlApplicationContext;/** * @Description : 获取springBean工具类** @author : Q80082828* @da...
2014-05-22 10:20:58
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人