梦想家博客

程序员知识

排序:
默认
按更新时间
按访问量

nginx 性能原理浅谈

众所周知,nginx性能高,而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢?这一节我们先来初识一下nginx框架吧。 nginx在启动后,在unix系统中会以daemon的方式在后台运行,后台进程包含一个master进程和多个worker进程。我们也可以手动地关掉后台模式...

2018-09-17 20:46:51

阅读数:25

评论数:0

python 定时任务框架APScheduler

APScheduler简介 在平常的工作中几乎有一半的功能模块都需要定时任务来推动,例如项目中有一个定时统计程序,定时爬出网站的URL程序,定时检测钓鱼网站的程序等等,都涉及到了关于定时任务的问题,第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的,虽然...

2018-09-17 19:53:30

阅读数:31

评论数:0

redis 五种数据类型和应用场景

redis提供了5中数据结构,理解每种数据结构的特点对于redis开发运维非常重要。   一、字符串 字符串类型是redis最基础的数据结构,首先键是字符串类型,而且其他几种结构都是在字符串类型基础上构建的, 所以字符串类型能为其他四种数据结构的学习尊定基础。 字符串类型实际上可以是...

2018-09-04 21:39:21

阅读数:28

评论数:0

python 实现排序算法

原文:http://wuchong.me/blog/2014/02/09/algorithm-sort-summary/ 经典排序算法在面试中占有很大的比重,也是基础,为了未雨绸缪,在寒假里整理并用Python实现了七大经典排序算法,包括冒泡排序,插入排序,选择排序,希尔排序,归并排序,快速排序...

2018-09-03 23:08:38

阅读数:16

评论数:0

socket详解

1、Socket 类型 套接字格式: socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号(默认为0)来创建套接字。   socket类型 描述 socket.AF_UNIX ...

2018-09-03 19:51:06

阅读数:7

评论数:0

redis主从+哨兵模式

redis主从+哨兵模式 主从模式配置分为手动和配置文件两种方式进行配置,我现在有192.168.238.128(CentOS1)、192.168.238.131(CentOS3)、192.168.238.132(CentOS4)几台机器,只是配置文件的配置方式是降手动配置的命令放在配置文件中而...

2018-08-19 14:49:43

阅读数:39

评论数:0

vmware三种网络模式的工作原理及配置

原文来自http://note.youdao.com/share/web/file.html?id=236896997b6ffbaa8e0d92eacd13abbf&type=note  我怕链接会失效,故转载此篇文章 由于Linux目前很热门,越来越多的人在学习linu...

2018-08-09 15:50:38

阅读数:37

评论数:0

elasticsearch 安装和使用简单入门

  elasticsearch简写es,es是一个高扩展、开源的全文检索和分析引擎,它可以准实时地快速存储、搜索、分析海量的数据。 什么是全文检索 全文检索是指计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先...

2018-07-30 23:40:19

阅读数:32

评论数:0

数据结构与算法基础知识点

线性表(Linear List) 是具有相同数据类型的数据元素的一个有限序列。通常表示为:(a1,a2,… ai,ai+1… an) 线性表的顺序存储是指用一组地址连续的存储单元依次存放线性表的数据元素,这种存储形式的线性表称为顺序表。它的特点是线性表中相邻的元素在内存中的存储位置也是相邻的。...

2018-07-30 20:35:55

阅读数:53

评论数:0

linux shell 脚本语法

linux shell脚本编程基本语法 Shell script是利用shell的功能所写的一个“程序”,这个程序是使用纯文本文件,将一些Linux Shell的语法与命令(含外部命令)写在里面,搭配正则表达式、管道命令与数据流重定向等功能,以达到我们所想要的处理目的。Shell script提...

2018-07-30 20:03:23

阅读数:37

评论数:0

python 使用 fabric

Fabric是什么? Fabric 是一个 Python的库和命令行工具,用来提高基于 SSH 的应用部署和系统管理效率。可以实现与远程服务器的自动化交互。Fabric底层基于paramiko模块。其特点即为简单高效,并且支持多线程。在需要运维数十台至几百台机器(视情况而定)的情况下非常好用。但...

2018-07-30 19:52:16

阅读数:29

评论数:0

json 和 python 的相互转化,并保存json文件

import json # json数组转python列表 json_array = '[1,2,3,4]' print(type(json_array)) python_list = json.loads(json_array) # 转化为python 列表 # 读取json文件并json数...

2018-07-12 16:58:23

阅读数:644

评论数:0

BeautifulSoup4 --解析和提取 HTML/XML 数据

1. BeautifulSoup41.1  BeautifulSoup4简介BeautifulSoup4和 lxml 一样,Beautiful Soup 也是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历,而Beautiful Soup ...

2018-07-12 16:53:23

阅读数:325

评论数:0

网络爬虫 lxml库--解析和提取 HTML/XML 数据

一、lxml库的使用我们利用它来解析 HTML 代码from lxml import etree text = ''' <div> <ul> <li class...

2018-07-12 15:39:20

阅读数:223

评论数:0

网络爬虫 之 xpath语法 详解

一、xpath语法选取节点XPath 使用路径表达式来选取 XML或HTML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。下面列出了最常用的路径表达式:表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。     // ...

2018-07-12 14:30:44

阅读数:29

评论数:0

http 常见的request 请求头,response 响应头,常见的http状态码

request 请求头1.Host (主机和端口号)Host:对应网址URL中的Web名称和端口号,用于指定被请求资源的Internet主机和端口号,通常属于URL的一部分。2.Connection (链接类型)Connection:表示客户端与服务连接类型Client 发起一个包含 Connec...

2018-07-12 14:10:43

阅读数:308

评论数:0

网络爬虫 requests 的使用

1.get 请求import requestskw = {'wd':'美女'}headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537...

2018-07-12 12:01:42

阅读数:48

评论数:0

Handler处理器和自定义Opener,URLError和HTTPError

一、Handler处理器和自定义Opener1 opener是 urllib.request.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。urllib.request.urlopen()函数不支持验证、cook...

2018-07-12 11:59:44

阅读数:26

评论数:0

网络爬虫 Handler处理器和自定义Opener,URLError和HTTPError

一、Handler处理器和自定义Opener1 opener是 urllib.request.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。urllib.request.urlopen()函数不支持验证、cook...

2018-07-12 11:54:08

阅读数:20

评论数:0

简单爬虫入门

一、爬虫定义网络爬虫(又被称为网页蜘蛛,网络机器人,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、使用python做爬虫的好处1.php 对多线程、异步支持不够好,并发处理能力很弱。爬虫是工具性程...

2018-07-12 11:47:22

阅读数:22

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭