王——大王-CSDN博客

原创 docker 主机不通

突然发现无法访问docker主机。docker主机中的服务正常。但就是访问不了。使用docker info 查看：发现有如下字样：WARNING: IPv4 forwarding is disabledWARNING: bridge-nf-call-iptables is disabledWARNING: bridge-nf-call-ip6tables is disabl...

2019-07-15 10:47:20 720

原创 splash的参数缓存

在splash的http-API中有两个参数 load_args和save_args。这两个参数的说明如下：save_args：这个参数的作用就是告诉splash服务器，我要缓冲哪些参数在splash服务器的内部缓冲中，然后splash服务器会把参数对应的值做一个sha1的hash值并存储该参数的，之后会将hash值放在响应头中的X-Splash-Saved-Arguments中返回给客户...

2019-07-12 10:30:24 653

原创 splash 死掉原因

1、The X11 connection broke (error 1). Did the X11 server die?设置splash.images_enabled = true2、Traceback (most recent call last): File "/app/splash/browser_tab.py", line 1181, in _on_request_finis...

2019-07-09 11:19:05 1287

原创 nginx配置好访问返回502错误

原因：Nginx 主机的 SELinux 服务限制了其（即 Nginx）使用 http 访问权限引起的。解决办法：关掉selinux或者执行setsebool -P httpd_can_network_connect 1 # “1”为开启，“0”为关闭另外一个原因是所有的server都不可用。导致502错误。...

2019-06-24 16:36:30 3253

原创 centos7---mysql8.0安装及远程连接权限设置

1、下载yum库https://dev.mysql.com/downloads/repo/yum/2、安装yum库sudo rpm -Uvh mysql80-community-release-el7-3.noarch.rpm3、选择安装版本sudo yum-config-manager --disable mysql80-community # 禁用8.0版本，默认时8.0...

2019-05-07 12:14:35 1149 1

12 15:44:58 cm-mp01 systemd[1]: Starting firewalld - dynamic firewall daemon...Mar 12 15:44:58 cm-mp01 systemd[1]: firewalld.service: main process exited, code=exited, status=1/FAILUREMar 12 15:44:...

2019-05-07 11:54:22 649

原创 Python3.6安装错误汇总

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libcurl-develconfigure --prefix=/usr/local出现的问题configure: error: no acceptable C...

2019-05-07 11:53:46 544

转载 haproxy配置

常用配置选项： OPTION 选项：option httpclose ：HAProxy会针对客户端的第一条请求的返回添加cookie并返回给客户端，客户端发送后续请求时会发送此cookie到HAProxy，HAProxy会针对此cookie分发到上次处理此请求的服务器上，如果服务器不能忽略 ...

2019-01-16 16:06:42 400

原创 Haproxy负载均衡的安装配置

haproxy是一款可靠，高性能的并且可以支持TCP/HTTP的负载均衡器。1、下载：haproxy官网：http://www.haproxy.org/从中选择你下载的版本。这里以1.9为例。点击1.9.1进入下载。下载完毕后，包名为：haproxy-1.9.1.tar.gz2、安装由于下载的是源码包，所以安装前需要进行编译。2.1、解压源码包并进入该目录：ta...

2019-01-16 16:04:00 177

原创 scrapyd-deploy

Traceback (most recent call last): File "/usr/local/lib64/python3.6/site-packages/twisted/web/http.py", line 2190, in allContentReceived req.requestReceived(command, path, version) File "/...

2018-11-30 16:36:06 807

原创在python中如何区分logging级别

对于python日志来说分为以下几类：Level Numeric value CRITICAL 50 ERROR 40 WARNING 30 INFO 20 DEBUG 10 NOTSET 0 其中Level是日志级别，Numeric value表示紧急程度。下面是我的理解：Level Numeric valu...

2018-11-15 10:28:31 1424

原创关于同步/异步，阻塞/非阻塞

个人理解：我个人认为这两者不存在直接联系，一、对于同步异步来说，它是一种过程的体现，而对于阻塞和非阻塞来说，它是一种状态的体现。二、对于同步异步来说，它们的对象两个以上的程序。即A，B两程序它们的执行顺序是同步/异步。而阻塞非阻塞的对象是单个程序。即A/B在执行过程中，处于阻塞/非阻塞状态。正因为两者没有联系。所以会出现同步阻塞、同步非阻塞、异步阻塞、异步非阻塞四种组合。...

2018-11-01 09:41:38 108

原创 lua-5.3安装luasocket

2018-11-01 09:27:26 2077

原创在centos7下安装docker，splash

在centos7下安装docker，splash安装step1：安装dockeryum install docker -ystep2: 启动docker服务systemctl start dockerstep3:拉取splash镜像docker pull scrapinghub/splashstep4:启动splash容器docker run -p 8050:8...

2018-10-30 10:31:10 579

转载 pycurl检测网站性能，pycurl.*_TIME时间问题

摘要：今天使用python+pycurl来检测网站性能,使用curl_obj.getinfo(pycurl.*_TIME)来获取各个阶段运行时间total_time=curl_obj.getinfo(pycurl.TOTAL_TIME)#传输结束所消耗的总时间dns_time=curl_obj.getinfo(pycurl.NAMELOOKUP_TIME)#从发起请求到DNS解析完成所消耗的时间c...

2018-09-04 11:25:58 644

转载字符串/字节互转

#bytes object byte = b"byte example" # str object str = "str example" # str to bytes 字符串转字节 bytes(str, encoding="utf8") # bytes to str 字节转字符串 str(bytes, encoding="utf-8") # an alterna...

2018-09-04 09:45:28 1636

转载 python中的is和==的区别

is也被叫做同一性运算符，这个运算符比较判断的是对象间的唯一身份标识，也就是id是否相同。通过对下面几个list间的比较，你就会明白is同一性运算符的工作原理：例2. >>> x = y = [4,5,6]>>> z = [4,5,6]>>> x == yTrue>>> x == zTrue>&

2018-08-17 15:36:40 192

原创 pycurl常用模块

pycurl是libcurl的python接口，支持多种协议，多种平台。可以用来检测网站的连接时间。c = pycurl.Curl() #创建一个curl对象 c.setopt(pycurl.CONNECTTIMEOUT, 5) #连接的等待时间，设置为0则不等待 c.setopt(pycurl.TIMEOUT, 5) #请求超时时间 c.setopt(pycurl.NOPRO...

2018-08-02 11:03:26 251

qq_41847741的博客