![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
文章平均质量分 71
梦子mengy7762
这个作者很懒,什么都没留下…
展开
-
Java编程实现中英混合字符串数组按首字母排序的方法
本文实例讲述了Java编程实现中英混合字符串数组按首字母排序的方法。分享给大家供大家参考,具体如下:在Java中对于字符串数组的排序,我们可以使用Arrays.sort(String[])方法很便捷的进行排序。例如:String[] arrays = new String[] { "gyu", "sdf", "zf", "大同", "收到", "地方", "三等分", "的人", "反对高铁", "泛代数", "上的投入", "和国家" };/*设置语言环境*/Comparator<Objec原创 2022-02-28 18:06:54 · 1519 阅读 · 0 评论 -
Java实现文件分割和文件合并实例
文件切割和文件合并这个问题困扰了我有一段时间了(超过一天没做粗来)。找了好多博客,本来想转载一个来的 结果找不到了。很无奈。只好自己贴代码上了。当然我会尽力好好写注释的。文件切割器:import java.io.File;import java.io.FileNotFoundException;import java.io.IOException;import java.io.RandomAccessFile;import java.util.Scanner;public class原创 2022-02-28 18:05:08 · 712 阅读 · 0 评论 -
【Java常识】7.0 数组实现冒泡排序、选择排序和二分查找
1.0 冒泡排序原理冒泡排序就是:轻的上浮,沉的下降。小的往前排,大的往后走。原理:若一个N个元素的数组,两个相邻位置比较,如果前面的元素比后面的元素大就换位置。每一次比较,都是相对最沉的到位。比较N-1次,每一次,上次一次沉到最下面放好的不用再比较,直到所有的到位为止。2.0 冒泡排序代码实现package edp.com.learn1;public class Demo { public static void main(String[] args) { int[原创 2022-02-24 20:58:49 · 551 阅读 · 0 评论 -
【Java常识】7.0 StringBuffer的使用
1.0 String和StringBuffer的区别String在申明后是一个不可变的字符串序列,StringBuffer是可以变的字符序列(通过某些方法)。StringBuffer是一个类似于String的字符串缓冲区,但是不能像String那样用“+”号去修改,但是可以通过某些方法实现。2.0 API文档对StringBuffer的描述为:线程安全的可变字符序列。实际原理不做解释,理解万岁,打比方只有3句话。2.1 打比方说,上厕所,厕所有门,门上有锁,锁门落锁,我们自然认为上厕所是安全的。原创 2022-02-24 20:57:55 · 321 阅读 · 0 评论 -
【Java常识】6.0面向对象认知和Eclipse的实用使用、==号和equals方法的区别
1.曾经写过很多自以为很通俗易懂的面向对象的解释。如下是目前最通俗的一种解释:2.Eclipse的补充解释。运行的快捷键:F11。3.Eclipse快捷键大全大全放本文最后,这里主要放常用的:* A:新建 ctrl + n* B:格式化 ctrl+shift+f* C:导入包 ctrl+shift+o * D:注释 ctrl+/,ctrl+shift+/,ctrl+shift+\* E:代码上下移动 选中代码alt+上/下箭头* F:查看源码 选中类名(F3或者Ctrl+鼠原创 2022-02-24 20:56:13 · 222 阅读 · 0 评论 -
分享6 个值得收藏的 Python 代码
1、类有两个方法,一个是 new,一个是 init,有什么区别,哪个会先执行呢?1class test(object): def __init__(self): print("test -> __init__") def __new__(cls): print("test ->__new__") return super().__new__(cls)a = test()运行结果如下:原创 2022-02-23 15:44:42 · 313 阅读 · 0 评论 -
Python Scrapy爬虫框架实战应用
通过上一节《Python Scrapy爬虫框架详解》的学习,您已经对 Scrapy 框架有了一个初步的认识,比如它的组件构成,配置文件,以及工作流程。本节将通过一个的简单爬虫项目对 Scrapy 框架做进一步介绍。首先看一个简单的示例,比如把 python教程入门学习公众号首页的“title”抓取下来,如下所示:<html lang="zh-cn"><head><meta charset="gb2312" /><meta name="baidu-site-原创 2022-02-23 15:38:02 · 723 阅读 · 1 评论 -
Python fileinput模块:逐行读取多个文件
前面章节中,我们学会了使用 open() 和 read()(或者 readline()、readlines() )组合,来读取单个文件中的数据。但在某些场景中,可能需要读取多个文件的数据,这种情况下,再使用这个组合,显然就不合适了。庆幸的是,Python 提供了 fileinput 模块,通过该模块中的 input() 函数,我们能同时打开指定的多个文件,还可以逐个读取这些文件中的内容。fileinput 模块中 input() 该函数的语法格式如下:fileinput.input(files=“f原创 2022-02-18 19:58:42 · 725 阅读 · 0 评论 -
Python pickle模块:实现Python对象的持久化存储
Python 中有个序列化过程叫作 pickle,它能够实现任意对象与文本之间的相互转化,也可以实现任意对象与二进制之间的相互转化。也就是说,pickle 可以实现 Python 对象的存储及恢复。值得一提的是,pickle 是 python 语言的一个标准模块,安装 python 的同时就已经安装了 pickle 库,因此它不需要再单独安装,使用 import 将其导入到程序中,就可以直接使用。pickle 模块提供了以下 4 个函数供我们使用:dumps():将 Python 中的对象序列化成二进原创 2022-02-18 19:57:37 · 281 阅读 · 0 评论 -
毕业仅1年,干Python赚了50W 网友:不是吹的
惊讶**Py现状:**Python职位月薪5W起?**其他程序员:**心态塌了!秒杀各行业薪资榜单,拿下编程语言排行榜的Python,工资真的如网上说的开挂了吗?有人在网上发现这样的一条评论信息:网友评论但Python真的这么火吗?我们去全网上帮你们“打听”一下,让大家了解下真正的Python现状。(数据来自2019年11月)我们在上图看,Python工资集中在25-35k之间,有1年工作经验左右的人就可以拿到30K左右!为核实这个情况,咱们去另一家招聘网上看2019年11月25日数.原创 2022-02-10 17:43:29 · 2061 阅读 · 4 评论 -
Python实现图片识别加翻译,高薪必备技能
Python使用百度AI接口实现图片识别加翻译pythonpython诞生30周年encoding:utf-8import requestsimport base64from PIL import Imageimport pytesseract这里需要安装一下 Tesseract-OCR安装好之后别忘了把Tesseract-OCR路径添加到环境变量中import jsonimport requestsimport keyboard #监听按键库from PIL import Im原创 2022-02-10 17:42:54 · 4911 阅读 · 0 评论 -
用Python自动推送睡前小故事给你爱的人
本文利用了简单的Python爬虫、邮件发送以及定时任务实现了每天 定时发送睡前小故事 的功能,是一篇步骤详尽的文章。 经过测试,该 程序仍能正常运行 。最近,某可爱要求我忙完之后给她每晚睡前讲讲小故事,我想了下,网络上应该有各种资源,小故事也都能搜得到,但是数量比较少,而且格式不够统一,提取比较困难。转念一想,面向儿童的睡前故事可能也比较适用,于是我准备从儿童睡前故事中取材一共有700则小故事,嗯,一天一则数量可以满足,html格式也比较统一,就决定是它了!另外注意:不管你是为了Python就业还是兴趣原创 2022-02-09 20:08:56 · 278 阅读 · 0 评论 -
【python教程入门学习】机器学习使用Python编程是因为什么?
众所周知,我们一般选择 [Python]作为实现机器学习算法的编程语言,这究竟是为什么呢?Python 比其它编程语言有哪些优势呢?Python 语法结构清晰Python 具有清晰的语法结构,大家也把它称作可执行伪代码(executable pseudo-code)。默认安装的 Python 开发环境已经附带了很多高级数据类型,如列表、元组、字典、集合、队列等,无需进一步编程就可以使用这些数据类型的操作。使用这些数据类型使得实现抽象的数学概念非常简单。此外,读者还可以使用自己熟悉的编程风原创 2022-01-14 17:29:06 · 267 阅读 · 0 评论 -
python操作yaml的方法详解
这篇文章主要为大家介绍了python操作yaml的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助一、参考链接https://pyyaml.org/wiki/PyYAMLDocumentation二、python类型转换为yaml`# -*- coding: utf-8 -*-``# @Time : 2022/1/2 21:53``# @Author : lujunxian``# @File : test_yaml.py``import` `yaml`原创 2022-01-13 18:19:43 · 1108 阅读 · 0 评论 -
Python爬虫破解有道翻译
有道翻译是以异步方式实现数据加载的,要实现对此类网站的数据抓取,其过程相对繁琐,本节我以有道翻译为例进行详细讲解。通过控制台抓包,我们得知了 POST 请求的参数以及相应的参数值,如下所示:图1:有道翻译POST请求参数并发现以下了规律:salt、sign、lts 总是变化的,而 bv 等其他参数是不变化的。其中 lts 代表毫秒时间戳,salt 和 lts 之间存在着某种关联,因为两者只有最后一个数字是不同的;而 sign 对应的值是一个加密后的字符串。如果想要实现实时地抓取翻译结果,就需要将原创 2022-01-12 18:11:06 · 1111 阅读 · 1 评论 -
python爬虫入门教程--优雅的HTTP库requests(二)
requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive、连接池、Cookie持久化、内容自动解压、HTTP代理、SSL认证等很多特性,下面这篇文章主要给大家介绍了python爬虫入门中关于优雅的HTTP库requests的相关资料,需要的朋友可以参考下。前言urllib、urllib2、urllib3、httplib、httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有原创 2022-01-12 16:56:22 · 388 阅读 · 0 评论 -
python爬虫入门教程--快速理解HTTP协议(一)
http协议是互联网里面最重要,最基础的协议之一,我们的爬虫需要经常和http协议打交道。下面这篇文章主要给大家介绍了关于python爬虫入门之快速理解HTTP协议的相关资料,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。前言爬虫的基本原理是模拟浏览器进行 HTTP 请求,理解 HTTP 协议是写爬虫的必备基础,招聘网站的爬虫岗位也赫然写着熟练掌握HTTP协议规范,写爬虫还不得不先从HTTP协议开始讲起HTTP协议是什么?你浏览的每一个网页都是基于 HTTP 协议呈现的,HTTP 协原创 2022-01-12 16:52:36 · 339 阅读 · 0 评论 -
深入解析Python中的变量和赋值运算符
Python 变量类型变量存储在内存中的值。这就意味着在创建变量时会在内存中开辟一个空间。基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。因此,变量可以指定不同的数据类型,这些变量可以存储整数,小数或字符。变量赋值Python中的变量不需要声明,变量的赋值操作既是变量声明和定义的过程。每个变量在内存中创建,都包括变量的标识,名称和数据这些信息。每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。等号(=)用来给变量赋值。等号(=)运算符左边是一个变量名,等原创 2022-01-11 19:20:35 · 438 阅读 · 0 评论 -
理解java和python类变量以及类的成员变量
最可怕的不是犯错而是一直都没发现错误,直到现在我才知道自己对类变量的理解有问题。大概可能也许是因为不常用类变量的原因吧,一直没有发现这个问题**。最近在看C++时才知道了类变量到底是什么**?以前我一直觉得类变量和成员变量的唯一区别是类变量可以通过类名直接访问,是静态的。而成员变量需要实例化一个类后通过实例来访问。万万没想到忽视了类变量在一个类中只有一个,各个实例中的都是同一个的,在一个实例中修改会影响其他实例中的类变量…(虽然平常也没有因为这个而引起什么bug,但是还是要补上认知的漏洞)。这里有用原创 2022-01-11 19:18:06 · 267 阅读 · 0 评论 -
【python教程入门学习】Python函数定义及传参方式详解(4种)
这篇文章主要介绍了Python函数定义及传参方式详解(4种),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧一、函数初识1、定义:将一组语句的集合通过一个名字(函数名)封装起来,要想执行这个函数,只需调用其函数名即可。2、好处:代码重用;保持一致性;可扩展性。3、示例如下:|`# -*-coding:utf-8-*-``def` `sayHello():``print``(``'Hello world!'``)``原创 2022-01-10 00:37:24 · 1089 阅读 · 0 评论 -
【python教程入门学习】Python实现自动玩贪吃蛇程序
这篇文章主要介绍了通过Python实现的简易的自动玩贪吃蛇游戏的小程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学一学实现效果先看看效果这比我手动的快多了,而且是单机的,自动玩没惹骂我,哈哈 ,多人游戏整个自动玩会被骂死~代码没装软件的先安装一下软件,没装模块的安装一下pygame模块。|1|`pip install pygame`|导入模块|12|`import` `pygame,sys,time,random``from` `pygame.``loc原创 2022-01-10 00:34:10 · 2249 阅读 · 0 评论 -
Python实现贪吃蛇小游戏(双人模式)
这篇文章主要为大家详细介绍了Python实现双人模式的贪吃蛇小游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下简单用py写了一个贪吃蛇游戏,有单人、双人模式,比较简单,适合初学者练手。本上每行重要的语句都有注释,做了什么事一目了然这里介绍双人模式一、游戏设计要点1.游戏主体窗口(尺寸)、画布(尺寸、位置)、按钮(尺寸、位置)、文字(大小、颜色、位置)、图像、背景音乐及相关响应函数(主要是鼠标移动及点击的响应)的设计与合理排布2.蛇与食物的类的属性设计3.蛇位置的原创 2022-01-09 23:49:47 · 3927 阅读 · 0 评论 -
Python制作当年第一款手机游戏-贪吃蛇游戏(练习)
前言:文章利用Python pygame做一个贪吃蛇的小游戏而且讲清楚每一段代码是用来干嘛的。据说是贪吃蛇游戏是1976年,Gremlin公司推出的经典街机游戏,那我们今天用Python制作的这个贪吃蛇小游戏是一个像素版的,虽然简陋,但还是可以玩起来的我们主要要做的内容:创建游戏窗口绘制贪吃蛇与食物蛇吃食物贪吃蛇的棋盘模型:现在就开始我们的代码,首先,还是导入模块:`import` `pygame``import` `random``import` `copy`|1原创 2022-01-09 23:44:18 · 10526 阅读 · 6 评论 -
【python教程入门学习】Pandas库下载和安装
Python 官方标准发行版并没有自带 Pandas 库,因此需要另行安装。除了标准发行版外,还有一些第三方机构发布的 Python 免费发行版, 它们在官方版本的基础上开发而来,并有针对性的提前安装了一些 Python 模块,从而满足某些特定领域的需求,比如专门适应于科学计算领域的 Anaconda,它就提前安装了多款适用于科学计算的软件包。对于第三方发行版而言,它们已经自带 Pandas 库,所以无须另行安装。下面介绍了常用的免费发行版:Anaconda是一个开源的 Python 发行版,包含了原创 2022-01-08 19:33:03 · 11658 阅读 · 0 评论 -
[python教程入门学习]Python标准库映射类型与可散列数据类型的关系
本文章向大家介绍Python标准库映射类型与可散列数据类型的关系,主要包括Python标准库映射类型与可散列数据类型的关系使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。这里有两个概念似懂非懂,在这里明确一下:映射类型: Python>3.2中,collections.abc模块有Mapping和MutableMapping两个抽象基类(Python2.6~3.2隶属于collections模块),作用是为dict和其他类似类型定义形式接口。它们原创 2022-01-08 18:30:51 · 140 阅读 · 0 评论 -
[python教程入门学习]python学习笔记(CMD执行文件并传入参数)
本文章向大家介绍python学习笔记(CMD执行文件并传入参数),主要包括python学习笔记(CMD执行文件并传入参数)使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。在命令行CMD中执行文件过程中如何传入并识别参数 1 # -*- coding: utf-8 -*- 2 # CMD运行类 3 # 作者: 陈磊 4 # 时间: 2019-10-22 5 6 7 import sys 8 import getopt 9 10 11 f原创 2022-01-08 18:27:47 · 1356 阅读 · 0 评论 -
Python变量作用域的规则以及如何搜索内置作用域
喜欢编程,热爱分享,希望能结交更多志同道合的朋友,一起在学习Python的道路上走得更远!有不懂的问题可以私聊我哦!**作用域:**是指变量的生效范围,例如本地变量、全局变量描述的就是不同的生效范围。python的变量作用域的规则非常简单,可以说是所有语言中最直观、最容易理解的作用域。在开始介绍作用域之前,先抛一个问题:1 x=12 def f():3 x=34 g()5 print("f:",x) # 36 7 def g():8 print("g:",x) # 1910 f(原创 2022-01-07 19:50:04 · 321 阅读 · 0 评论 -
哇 跨行竞争 Python竟能替代PS完成海报设计
海报是我们日常生活工作中最常使用到的平面设计类型。很多精美的海报做出来就像艺术品一样让人赞叹不已。但ps和AI都比较复杂难学,不会这些软件就没办法随心所欲做海报了吗?当然不是,如果你会编程,制作海报也是不成问题的,本文就给大家介绍一下,如何用Python制作海报,总共才47行代码,非常简单方便!# 导入模块from PIL import ImageFilterbackground = Image.open('河南理工大学.jpg')# res = background.filter(ImageFil原创 2022-01-07 18:41:59 · 511 阅读 · 0 评论 -
入门月薪8k,3年经验年薪30w,大数据薪酬待遇竟这么高?
这篇文章主要介绍了大数据专业的就业前景与薪酬待遇,结合当前市场环境与科技发展趋势分析总结了大数据专业的就业前景、就业方向、薪资待遇等,感兴趣的朋友可以接着往下看!近几年来,大数据一直都很火,不仅纳入阿里巴巴、谷歌等互联网公司的战略规划中,同时也在我国国务院和其他国家的政府报告中多次提及,大数据无疑成为当今互联网世界中的新宠儿。而"马云无人超市迎客,再不努力你将无工可打","看李彦宏如何谈AI"等新闻热点,无不展示着人工智能的快速发展。人工智能之所以能取得突飞猛进的进展,少不了这些年来大数据的功劳。本原创 2022-01-07 18:36:33 · 999 阅读 · 0 评论 -
成为表情包大帝,仅需几十行python代码,简单易学
喜欢编程,热爱分享,希望能结交更多志同道合的朋友,一起在学习Python的道路上走得更远!有不懂的问题可以私聊我哦!gif动图制作python制作gif动图可以用imageio库简单实现。做gif实际上就是变换连续几张图,以下是一个简单的例子。效果图:具体的代码实现:<pre>import imageioimport globimport cv2from PIL import ImageFont, ImageDraw, Imagedef create_gif(imagename_l原创 2022-01-07 18:34:19 · 1003 阅读 · 0 评论 -
Python入门之编程与编程语言
python是一门编程语言,作为学习python的开始,需要事先搞明白:编程的目的是什么?什么是编程语言?什么是编程?编程的目的:计算机的发明,是为了用机器取代/解放人力,而编程的目的则是将人类的思想流程按照某种能够被计算机识别的表达方式传递给计算机,从而达到让计算机能够像人脑/电脑一样自动执行的效果。什么是编程语言?上面提及的能够被计算机所识别的表达方式即编程语言,语言是沟通的介质,而编程语言是程序员与计算机沟通的介质。在编程的世界里,计算机更像是人的奴隶,人类编程的目的就命令奴隶去工作。什么是原创 2022-01-06 17:36:21 · 325 阅读 · 0 评论 -
Python编程语言基础入门教程
Python编程语言是最近几年发展趋势较火的语言,也是针对新手友好的语言,入门简单上手快。再加上AI人工智能和数据分析的加持,让Python成为关注度最高的编程语言,现在不会Python都不好意思说自己会编程。虽然Python很火,但是网络上关于Python语言的学习资料依然不多,今天为大家收集了一本关于Python基础学习的文档书籍——《python基础教程》Python基础教程Python是一种计算机程序设计语言。是一种动态的、面向对象的脚本语言,最初被设计用于编写自动化脚本(shell),随着版原创 2022-01-06 17:33:33 · 252 阅读 · 0 评论 -
Python 过程式编程与函数式编程
过程式与函数式是两种截然不同的编程方式和思考方法,下面以求解素数为例做一下对比。采用过程式编程def isPrime(n): mid = int(pow(n,0.5)+1) for i in xrange(2,mid): if n % i == 0 : return False return True primes=[]for i in xrange(2,1000): if isPrime(i): primes += [i] print primes采用函数式编程print re原创 2022-01-06 17:24:42 · 345 阅读 · 0 评论 -
Python基础实战之函数的参数讲解(三)
●参数可以是任意类型。●比如可以是列表。library=[‘python精通’,‘MySQL’,‘数据分析’,‘人工智能’]#形参def add_book(bookname):library.append(bookname)print(‘图书添加成功!’)passdef show_book(books):for book in books:print(book)passpass#调用函数add_book(‘新概念英语’)show_book(library)#输出列表中所有原创 2022-01-05 18:24:35 · 1113 阅读 · 0 评论 -
用Python做一个游戏辅助脚本,完整编程思路分享
一、说明简述:本文将以4399小游戏《 宠物连连看经典版2 》作为测试案例,通过识别小图标,模拟鼠标点击,快速完成配对。对于有兴趣学习游戏脚本的同学有一定的帮助。运行环境:Win10/Python3.5。主要模块:win32gui(识别窗口、窗口置顶等操作)、PIL(屏幕截图)、numpy(创建矩阵)、operator(比较值)、pymouse(模拟鼠标点击)。注意点:1、如果安装pymouse不成功或者运行报错,可以考虑先通过whl 安装pyHook、然后再通过pip安装pyuserinput。原创 2022-01-05 17:52:46 · 1793 阅读 · 1 评论 -
奇葩公司规定程序员工资按代码行数算工资,个个提成这么高?
对于职场朋友来说,工资无疑是对于自己最重要的,每家公司对于员工的工资都有一定的标准,有些是恒定的,也有一些是根据一些因素来决定的,难么你知道程序员的工资都是如何规定的吗?最近看到一个很有意思的工资标准。一位朋友说自己以前在一家公司工作,这家公司对于程序员的工资是按照代码行数来算工资的,这的确是很稀奇的一件事情,后来这家公司有位员工就利用了这个规则,最后光是提成就拿到了2.6万,听起来真的很不错。但是领导却和他商量可不可以少报点,结果这位员工隔天就辞职了,这位员工辞职的理由就不言而喻了,公司说好的规定,原创 2022-01-05 17:48:46 · 3586 阅读 · 0 评论 -
学python有什么好处 学完可以做什么
近几年来,python在国内越来越火,越来越多的人开始学习python,学完python以后不仅仅是有了更多的就业机会,而且薪资也会越来越高。学python可以做什么学python可以做web开发,目前开发在国内的发展的非常好,python的web开发框架是最大的一个优势,如果你用python搭建一个网站只需要几行的代码就可以了,非常简单。学python可以从事数据分析工作,python所拥有的完整的生态环境十分有利于进行数据分析处理,大数据所需要的数据可视化、数据库操作等都是可以通过python中原创 2022-01-04 17:32:00 · 465 阅读 · 0 评论 -
Python人工智能完整学习路线
Python 是人工智能(机器学习)的首选编程语言,它拥有众多模块,能完成人工智能开发的所有环节,没有任何一种语言使用起来如此顺手。Python 人工智能的学习路线如下所示:爬虫要学用 Python 如何爬取数据,要做数据分析、数据建模,起码要有数据,这些数据来源有多种渠道,但是很多都来自网络,这就是爬虫。网络爬虫又被称为网页蜘蛛、网络机器人,是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。爬虫(蜘蛛)常见的 Python 爬虫库包括 requests、scrapy、selenium原创 2021-12-31 16:26:43 · 390 阅读 · 0 评论 -
技巧:利用 Python 实现多任务进程
一、进程介绍进程:正在执行的程序,由程序、数据和进程控制块组成,是正在执行的程序,程序的一次执行过程,是资源调度的基本单位。程序:没有执行的代码,是一个静态的。二、线程和进程之间的对比由图可知:此时电脑有 9 个应用进程,但是一个进程又会对应于多个线程,可以得出结论:进程:能够完成多任务,一台电脑上可以同时运行多个 QQ线程:能够完成多任务,一个 QQ 中的多个聊天窗口根本区别:进程是操作系统资源分配的基本单位,而线程是任务调度和执行的基本单位.使用多进程的优势:1、拥有独立GIL:首先原创 2021-12-30 19:02:43 · 196 阅读 · 0 评论 -
python爬虫如何配置动态爬虫代理
很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取使用代理流程代理的使用大概可以分为四步1.构建处理器handler(代理IP)2.使用处理器构建连接方法(build_opener)3.构建请求4.使用连接方法中的open函数打开请求其中最重要的是第一步构建处理器的ProxyHandler函数爬取数据这一步,你要明确要得原创 2021-12-22 17:42:19 · 854 阅读 · 0 评论