python
一个可爱的程序猴
这个作者很懒,什么都没留下…
展开
-
scrapy_redis各个组件有什么独特之处?
文章目录connection.pydefaults.pydupefilter.pypicklecompat.pypipelines.pyqueue.pyscheduler.pyconnection.py用来连接redis数据库import sixfrom scrapy.utils.misc import load_objectfrom . import defaults# Shor...原创 2020-04-14 21:20:28 · 390 阅读 · 0 评论 -
反爬虫
什么是反爬虫?就是和爬虫抗衡,减少被爬取。因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,相当部分国内爬虫不遵守robots协议。所有有了保护自己内容不让别人抓取的反爬虫需求发爬虫方法1、手工识别和拒绝爬虫的访问2、通过识别爬虫的User-Agent信息来拒绝爬虫3、通过网站流量统计系统和日志分析来识别爬虫4、网站的实时反爬虫防火墙实现5、通过JS算法,文字经过一定转换后才...原创 2020-02-26 20:07:12 · 243 阅读 · 0 评论 -
正则表达式
正则表达式(Regular Expression)是一种文本模式,包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为"元字符")。1.正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。2.正则表达式是繁琐的,但它是强大的,学会之后的应用会让你除了提高效率外,会给你带来绝对的成就感。只要认真阅读本教程,加上应用的时候进行一定的参考,掌握正则表达式不是问题。3.许多程...原创 2020-02-18 20:36:12 · 158 阅读 · 0 评论 -
get与post的区别
get与post的区别1.get参数通过url传递,post放在request body中。2.get请求在url中传递的参数是有长度限制的,而post没有。3.get比post更不安全,因为参数直接暴露在url中,所以不能用来传递敏感信息。4.get请求只能进行url编码,而post支持多种编码方式5.get请求会浏览器主动cache,而post支持多种编码方式。6.get请求参数会被...原创 2020-02-14 19:02:50 · 127 阅读 · 0 评论 -
python--协程
文章目录概念协程优点yield的简单实现greenlet模块gevent模块概念协程:协助程序,线程和进程都是抢占式特点,线程和进程的切换我们是不能参与的。 而协程是非抢占式特点,协程也存在着切换,这种切换是由我们用户来控制的。 协程主解决的是IO的操作。协程,又称微线程,纤程。英文名Coroutine。协程优点优点1: 协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,...原创 2020-02-13 19:18:33 · 208 阅读 · 0 评论 -
生产者AND消费者
文章目录为什么要使用消费者和生产者模式呢?什么是消费者模式?实例在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度那么问题来了为什么要使用消费者和生产者模式呢?在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。在多线程开发当中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待...原创 2020-02-13 19:02:11 · 157 阅读 · 0 评论 -
两情侣之间容易形成什么锁?进来瞧瞧
进程之间数据隔离,但是共享一套文件系统,因而可以通过文件来实现进程直接的通信,但问题是必须自己加锁处理。注意:加锁的目的是为了保证多个进程修改同一块数据时,同一时间只能有一个修改,即串行的修改,没错,速度是慢了,牺牲了速度而保证了数据安全...原创 2020-02-12 19:28:44 · 190 阅读 · 0 评论 -
线程之间共享变量需要注意哪些??
线程共享同一个变量是否需要加锁?那么就根据需要来定。但是如果两个线程有可能同时修改这个变量的话,那么一定是需要加锁的。代码中如果没有pthread_join主线程会很快结束从而使整个进程结束,从而使创建的线程没有机会开始执行就结束了。加入pthread_join后,主线程会一直等待直到等待的线程结束自己才结束,使创建的线程有机会执行。pthread_join函数及linux线程pthr...原创 2020-02-11 19:35:28 · 409 阅读 · 0 评论 -
进程以及线程 两哥们的区别
还不知道进程是什么的点我右边的小可爱toc想知道线程是什么点击这个小可爱toc现在来进入我们这节课的主题来了解一下线程与进程的区别 进程和线程的主要差别在于它们是不同的操作系统资源管理方式。进程有独立的地址空间,一个进程崩溃后,在保护模式下不会对其它进程产生影响,而线程只是一个进程中的不同执行路径。线程有自己的堆栈和局部变量,但线程之间没有单独的地址空间,一个线程死掉就等于整个进程死掉,所以多...原创 2020-01-08 17:02:03 · 113 阅读 · 0 评论 -
python--线程
线程基本介绍线程(英语:thread)是操作系统能够进行运算调度的最小单位。线程是独立调度和分派的基本单位。同一进程中的多条线程将共享该进程中的全部系统资源,如虚拟地址空间,文件描述符和信号处理等等。但同一进程中的多个线程有各自的调用栈(call stack),自己的寄存器环境(register context),自己的线程本地存储(thread-local storage)。一个进程可以有...原创 2020-01-08 16:49:50 · 111 阅读 · 0 评论 -
进程池
进程池文章目录产生原因进程池的原理进程池的创建产生原因如果有大量任务需要多进程完成,则可能需要频繁的创建删除进程,给计算机带来较多的资源消耗进程池的原理创建适当的进程放入进程池,用来处理待处理事件,处理完毕后进程不晓辉,仍然在进程池中等待处理其他事件,直到事件全部处理完毕,进程退出。进程的复用降低了资源的消耗。进程池的创建1.创建进程池,在池内放入合适数量的进程2.将事件加入进程池...原创 2020-01-08 16:36:53 · 113 阅读 · 0 评论 -
学习python有什么好处?
python作为一门高级编程语言,它的诞生虽然很偶然,但是它得到程序员的喜爱却是必然之路,Python入门简单,相比于其他语言,初学者很容易入门,对初学者很有好处,除此之外,Python还具有以下优点:简单:Python奉行简洁主义,易于读写,它使你能够专注于解决问题而不是去搞明白语言本身。免费:Python是开源软件。这意味着你不用花一分钱便能复制、阅读、改动它,这也是Python越来越优...原创 2020-01-08 16:12:13 · 481 阅读 · 0 评论 -
银行家算法
银行家算法银行家算法(Banker’s Algorithm)是一个避免死锁(Deadlock)的著名算法,是由艾兹格·迪杰斯特拉在1965年为T.H.E系统设计的一种避免死锁产生的算法。它以银行借贷系统的分配策略为基础,判断并保证系统的安全运行。1.算法原理 安全性检查算法:用于检查系统进行资源分配后是否安全。在系统试分 配资源后,算法从现有进程列表寻找出一个可执行的进程进行执行,执行...原创 2020-01-08 16:04:16 · 368 阅读 · 0 评论 -
python--进程
我们要学习进程,首先得知道什么是进程,我们想通过酷我听歌,具体的过程应该是先找到酷我应用程序,然后双击就会播放音乐。 当我们双击的时候,操作系统将程序装载到内存中,操作系统为它分配资源,然后才能运 行。运行起来的应用程序就称之为进程。也就是说当程序不运行的时候我们称之为程序,当 程序运行起来他就是一个进程。通俗的理解就是不运行的时候是程序,运行起来就是进程。 程序和进程的对应关系是:程序只有一个,...原创 2020-01-08 09:57:31 · 188 阅读 · 0 评论 -
什么是多任务?多任务是什么?
多任务呢就是同一时刻多个任务同时执行,例如开演唱会时明星一边唱歌一边跳舞,开车时眼 睛看路手操作方向盘。这些都是多任务场景多任务有什么好处呢?那么我们先来一段代码来瞧瞧:import osdef sing(): """ 唱歌函数 :return: """ for i in range(3): print("唱第{}首歌"....原创 2020-01-07 09:40:06 · 2887 阅读 · 0 评论 -
http工作原理是什么?
首先我们知道http是一种超文本传输协议,是一种 Client 和 Server 之间请求和应答的标准,目的是更高效的进行网络传输。每个人包括一件智能产品我们都知道他有自己的工作方式对吧,那么们来看看http它的工作方式是什么呢?用户最直观的感受就是浏览器地址栏键入地址->回车->看到浏览器呈现的网页,这个过程简单的流程就是:浏览器发送请求到服务器,服务器响应请求,浏览器通过渲染引...原创 2020-01-07 09:02:26 · 1154 阅读 · 0 评论 -
爬虫中的HTTP协议
文章目录1.什么是http和https协议呢?2.http工作原理http请求/响应的步骤:3.http状态码首先我们来提一个问题1.什么是http和https协议呢?http:超文本传输协议(英文:HyperText Transfer Protocol,缩写:HTTP)是一种用于分布 式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。https:是http协议的加...原创 2020-01-06 20:36:59 · 233 阅读 · 0 评论 -
想知道常见的网络协议吗?进来瞧瞧
文章目录常见的网络协议TCP/IPIPX/SPXNetBIOS/NetBEUIAppleTalk(1)TCP/IP协议(2)Telnet协议(3)FTP协议(4)SMTP协议(5)DNS服务(6)DHCP服务常见的网络协议TCP/IP工业标准、开放式协议,Internet网络的标准IPX/SPXNovell开发的Netware操作系统使用的协议,IPX为网际数据包交换协议,工作在网络层,...原创 2020-01-05 19:21:48 · 417 阅读 · 0 评论 -
什么是网络协议?
文章目录(1)什么是协议(2)什么是协议栈(3)协议的作用(4)层次间的无关性2、网络协议族想知道什么是常见的网络协议吗?请见下文,嘻嘻1、协议及协议栈的基本概念(1)什么是协议协议是网络中计算机或设备之间进行通信的一系列规则的集合。常用协议有IP、TCP、HTTP、POP3、SMTP等。(2)什么是协议栈在网络中,为了完成通信,必须使用多层上的多种协议。这些协议按照层次顺序组合在一起,...原创 2020-01-05 19:05:43 · 2460 阅读 · 0 评论 -
tcp协议
TCP协议,传输控制协议(英语:Transmission Control Protocol,缩写为 TCP)是一种面向连接的、可靠的、基于字节流的传输层通信协议,由IETF的RFC 793定义。TCP通信需要经过创建连接、数据传送、终止连接三个步骤。TCP三次握手的过程如下:客户端发送SYN(SEQ=x)报文给服务器端,进入SYN_SEND状态。服务器端收到SYN报文,回应一个SYN(S...原创 2020-01-02 20:17:07 · 104 阅读 · 0 评论 -
网络编程
我们可以在我们的电脑上和别人聊天,可以在自己的电脑上向网盘中上传、下载内容。这些都是两个程序在通信。由于在不同机器上的程序需要通信,才产生了网络什么是网络编程呢?网络编程呢就是通过网络让不同计算机上运行的程序可以进行通信。计算机网络1.局域网局域网是指在某一区域内由多台计算机互联成的计算机 组。2、广域网广域网是一种跨越大的、地域性的计算机网络的集合。通 常跨越省、市,甚至一个国家。...原创 2020-01-02 19:58:40 · 208 阅读 · 1 评论 -
python-time模块
在python中,通常有这三种方式来表示时间:时间戳、时间元组、格式化的时间字符串1.时间戳:时间戳表示的是从1970年1月1日00:00:00开始到现在的秒值。返回的是float类型2.格式化的时间字符串:”1999-12-06“3.时间元组:struct_time元组共有9个元素:(年,月,日,时,分,秒,一周的第几日,一年中第几天,夏令时)小结时间戳是计算机能够识别的时间;...原创 2019-12-25 20:08:08 · 241 阅读 · 0 评论 -
python
简述try、except语句的用法程序先执行try中的代码,如果try中代码没有出错,则不会执行except中的异常代码。如果try中的代码出错了,则执行except中的异常代码简述read. readline. readlines的区别read会一次性读取文件的全部内容readline 每次读取一行,并且自带换行功,每一行末尾会读到\nReadlines 一次性以行的形式读取文件的所...原创 2019-12-24 20:06:12 · 75 阅读 · 0 评论 -
python-基础
命名空间和作用域的关系命名空间定义了在某个作用域内变量名和绑定值之间的对应关系,命名空间是键值对的集合,变量名与值是一一对应关系。作用域定义了命名空间中的变量能够在多大范围内起作用。装饰器函数的作用?写一个装饰器函数在不修改原函数及其调用方式的情况下对原函数功能进行扩展def outer(f): def inner(): print("**********") f...原创 2019-12-24 19:54:11 · 108 阅读 · 0 评论 -
python-猜水果系统
猜水果系统规则:(“1.猜题游戏一共有10个题,每个题10分,共一百分”)(“2.您在这个游戏中可以猜测10次,不管您答对还是答错,都会消耗猜测的次数”)(“3.每道题目开始时,系统都会提示是否使用锦囊,一共有三次的锦囊机会(锦囊一共有三种 ,并且可以重复选择!)。同时,锦囊不算在猜测的次数中。”)(“4.锦囊包括:1.提示水果第一个字。2.提示水果第二个字3.这个水果的字数”)(“5...原创 2019-12-11 15:59:24 · 297 阅读 · 0 评论