![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
big data
hunter_wyh
小白小白,梦想是大白!
展开
-
nginx 集群系列 - nginx 配置实战
虚拟主机配置 虚拟主机定义 nginx虚拟主机配置 分析nginx配置文件 虚拟主机名 基于域名的虚拟主机 基于IP的虚拟主机 基于端口的虚拟主机访问限制 基于客户端IP地址的访问控制 HTTP基本认证机制的访问控制状态监控 nginx 访问状态监控 tengine 状态监控反向代理与负载均衡seesion一致性 memcached redis原创 2017-10-17 15:56:02 · 4274 阅读 · 2 评论 -
python 3.6.2 安装与运行 Scrapy 问题与解决
python 3.6.2 安装与运行 Scrapy 问题与解决Scrapy官方安装指引Scrapy依赖:lxml, 一个高效的XML和HTML解析器parsel, 一个写在lxml之上的HTML / XML数据提取库w3lib, ,一个用于处理URL和网页编码的多功能助手扭曲,异步网络框架twisted, 异步网络框架,如twisted安装失败。参考python 3.6 安装 Twisted原创 2017-11-02 15:51:08 · 765 阅读 · 0 评论 -
python 3.6 安装 Twisted 错误与解决
python 3.6 安装 Twisted 错误与解决当我pip install scrapy过程中发现Twisted报错。于是我尝试pip install twisted单独安装Twisted, 依然是报错。后来发现原来是twisted和高版本的python有兼容性问题。那么怎么结局呢?我发现了Python扩展包的非官方Windows二进制文件里有:Twisted, an event-driven原创 2017-11-02 10:34:23 · 31810 阅读 · 4 评论 -
nginx 集群系列 - nginx 基本功能 - 动态代理
本文描述了一个代理服务器的基本配置。介绍将请求传递给您将学习如何通过请求NGINX代理服务器在不同的协议,修改客户端发送到代理服务器的请求头,并配置缓冲的反应来自代理服务器。介绍代理通常用于将负载分布在几个服务器,无缝显示内容从不同的网站,或通过请求处理在协议除了HTTP应用程序服务器。将请求传递给一个代理服务器NGINX代理一个请求时,它将请求发送给指定的代理服务器,获取响应,并将其发送回客户机。可以请求代理到H原创 2017-10-16 14:24:21 · 1978 阅读 · 0 评论 -
nginx 集群系列 - nginx 基本功能 - 静态内容服务
本节描述如何使用NGINX和NGINX服务静态内容,搜索的方法来定义路径找到所请求的文件,以及如何建立索引文件。根目录和索引文件服务选项优化NGINX速度为内容服务Enabling sendfileEnabling tcp_nopushEnabling tcp_nodelayOptimizing the Backlog QueueMeasuring the Listen Queue原创 2017-10-16 11:33:03 · 288 阅读 · 0 评论 -
nginx 集群系列 - nginx 基本功能 - Web服务器
nginx 集群系列 - nginx 基本功能 - Web服务器Web服务器关键词:配置虚拟服务器和位置,使用变量,重写的uri,并定制错误页面。本文将解释如何配置NGINX作为一个web服务器,包括以下部分:设置虚拟服务器配置位置使用变量返回特定的状态码重写uri的请求重写HTTP响应处理错误如果尚未安装nginx,请参阅nginx安装和调优 关于配置文件的更多信息,请参阅NGI原创 2017-10-16 08:57:04 · 646 阅读 · 0 评论 -
python3 爬虫 xicidaili.com 实战
python3 爬虫 xicidaili.com 实战python3 爬虫 xicidailicom 实战第一步 分析网站第二步 导包第三步 访问测试第四步 伪装好人之模拟浏览器访问第五步 完善之出错重传第六步 解析页面数据第七步 数据保存为excel第八步 抓取所有页面第九步 优化效率之用内存来换IO总结第一步 分析网站打开链接 http://www.xicidaili.com原创 2017-11-01 09:44:07 · 5545 阅读 · 0 评论 -
Nginx 官方文档翻译 - nginx的配置文件管理
Nginx 官方文档翻译 - nginx的配置文件管理本章节包括:nginx配置文件结构,指令的命令,指令继承规则NGINX 是类似于其他服务器,它有一个文本配置文件写在一个特定的格式。默认情况下,文件名为nginx。conf并放置在 /etc/nginx目录中。(对于开源NGINX的产品,使用的位置取决于包系统安装NGINX和操作系统。这是通常的一个 /usr/local/nginx/conf,翻译 2017-10-14 17:56:54 · 420 阅读 · 0 评论 -
Nginx 官方文档翻译 - 新手指南
Nginx 官方文档 - 翻译介绍安装Nginx新手指南启动停止和重启加载配置配置文件结构提供静态内容搭建一个简单的代理服务器设置FastCGI代理介绍Nginx 官方文档 : http://nginx.org/en/docs/安装Nginx参考:nginx 集群系列 - Nginx安装及编译选项说明新手指南本指南提供了一个关于nginx基本介绍并描述了一些可以用它完成的简单的任务。翻译 2017-10-13 11:10:41 · 556 阅读 · 0 评论 -
Nginx 官方文档翻译 - nginx 控制
Nginx 官方文档 - nginx 控制 - 翻译改变配置可以用信号控制nginx。主进程的ID默认情况下被写入/usr/local/nginx/logs/nginx.pid文件。这个名字可以在配置时修改或者在nginx.conf文件中使用pid指令。主进程支持以下信号:- TERM, INT - 快速关闭- QUIT - 友好的关闭- HUP - 修改配置,保持一个时区的改变(仅FreeBS翻译 2017-10-14 17:12:05 · 248 阅读 · 0 评论 -
Nginx 官方文档翻译 - 连接处理方法
Nginx 官方文档翻译 - 连接处理方法nginx支持各种连接处理方法。提供一个特定的的方法取决于所使用的平台。平台支持的几种方法,nginx通常会自动选择最有效的方法。然而,如果需要的话,可以通过使用指令明确的选择一个连接处理的方法。支持的连接处理方法如下:select——标准方法。支持模块在平台上自动构建,缺乏更有效的方法。–with-select_module和–without-selec翻译 2017-10-14 17:29:31 · 245 阅读 · 0 评论 -
nginx 集群系列 - nginx 配置解析
Nginx.conf配置文件参数说明工作模式与连接数上限 events设定http服务器gzip模块设置FastCGI upstream 负载均衡 server location 图片缓存时间设置 日志格式设定 对 “/” 启用反向代理 设定查看Nginx状态的地址 本地动静分离反向代理配置 所有静态文件由nginx直接读取不经过tomcat或resin原创 2017-10-13 10:12:26 · 486 阅读 · 0 评论 -
nginx 集群准备-VMware 克隆多台Linux机器并配置IP
VMware 克隆多台Linux机器并配置IP 一、第一个虚拟主机1、查看并分配虚拟网络 我们首先要知道 VMware 三种网络模式的区别。 ①、Bridged(桥接模式):就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信。在桥接的作用下,类似于把物理主机虚拟为一个交换机,所有桥接设置的虚拟机连接到这个交换机的一个接口上,物理主机也同样插在这个交换机当中,所以所原创 2017-10-12 22:05:52 · 448 阅读 · 0 评论 -
nginx 集群系列 - Nginx安装及编译选项说明
Nginx安装及编译选项说明make是用来编译的,它从Makefile中读取指令,然后编译。make install是用来安装的,它也从Makefile中读取指令,安装到指定的位置。configure命令是用来检测你的安装平台的目标特征的。它定义了系统的各个方面,包括nginx的被允许使用的连接处理的方法,比如它会检测你是不是有CC或GCC,并不是需要CC或GCC,它是个shell脚本,执行结束时,原创 2017-10-12 22:25:12 · 338 阅读 · 0 评论 -
tomcat 开机自启动配置
tomcat 开机自启动配置在nginx 集群中需要使用到tomcat ,要安装tomcat 首要保证已经安装了jdk。服务器中现有apache-tomcat-7.0.61.tar.gz,解压后,就可以启动。为了不需要每次开机都启动tomcat 我们需要配置tomcat开机自启。Linux下tomcat开机自动启动有两种方法,一种是简单,一种是复杂而又专业的shell。下面我们分别介绍这两种方法。1原创 2017-10-12 22:55:00 · 6764 阅读 · 0 评论 -
selenium webdriver 之 Chrome -headless set proxy 暨 自动化测试中无头谷歌浏览器设置代理
自动化测试 无头谷歌浏览器 设置代理selenium webdriver 之 Chrome -headless set proxy 众所周知PhantomJS 很好用, 但是确实版本有点旧了。 直至今年Chrome/Firefox 终于有了正式的headless mode无头模式。当我们使用`Chrome` 有头模式的时候,代理自然不是问题。但是当我使用`Chrome -headless` 时发现原创 2017-11-16 10:23:36 · 12311 阅读 · 3 评论