![](https://img-blog.csdnimg.cn/eb48d0e0b84e4de1bc1fea6ff2e54842.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
文章平均质量分 76
“Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
Python的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构。Python特点:易于学习、易于阅读、易于维护、一个广泛的标准库、互动模式、可移植、可扩展
鱼找水需要时间
千里之行,积于跬步;万里之船,成于罗盘
展开
-
Python实现定时任务的八种方案
在日常工作中,常常会用到需要周期性执行的任务,一种方式是采用Linux系统自带的crond结合命令行实现。另外一种方式是直接使用Python。接下来整理的是常见的Python定时任务的实现方式。目录。转载 2022-07-21 07:00:00 · 714 阅读 · 0 评论 -
Python之scrapy的post请求、日志和代理
1、重写方法:2、start_requests的返回值:使用testpost.py日志级别:默认的日志等级是DEBUG ,只要出现了DEBUG或者DEBUG以上等级的日志 ,那么这些日志将会打印settings.py文件设置:默认的级别为DEBUG,会显示上面所有的信息。在配置文件中 settings.py1、中,打开选项2、中使用代理...原创 2022-07-03 16:17:52 · 4256 阅读 · 1 评论 -
Python之CrawlSpider
CrawlSpider继承自scrapy.Spider可以定义规则,再解析内容的时候,可以根据链接规则提取出指定的链接,然后再向这些链接发送请求所以,如果有需要跟进链接的需求,意思就是爬取了网页之后,需要提取链接再次爬取,使用CrawlSpider是非常合适的链接提取器,在这里就可以写规则提取指定链接scrapy.linkextractors.LinkExtractor( # 正则表达式 提取符合正则的链接 # (不用)正则表达式 不提取符合正则的链接 # (不用)允许的域名 # (不用)不允许的域名# x原创 2022-07-03 16:00:56 · 3988 阅读 · 0 评论 -
Python之scrapy框架
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。安装过程出现错误:解决:如果报错,需要更新pip直接更新即可win32报错:如果还不行,直接使用anaconda2. scrapy项目的创建以及运行创建scrapy项目如果运行提示robots协议,可以注释掉settings.py中[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yqYrPMD8-1656768905原创 2022-07-02 21:35:44 · 3763 阅读 · 0 评论 -
Python之requests库
官网 requests库1.2 response的属性以及类型 :models.Response : 获取网站源码 :访问或定制编码方式 :获取请求的url :响应的字节类型 :响应的状态码 :响应的头信息1.3.2 get请求传递参数:1.3.3 post请求,百度翻译:1.3.4 代理请求2. 真实网站模拟登录(仅学习使用)注意修改账号、密码再进行测试3. 超级鹰打码平台当前目录存放,修改账号、密码、软件ID直接运行即可...原创 2022-07-02 18:21:20 · 3693 阅读 · 0 评论 -
Python之Phantomjs无界面浏览器
Phantomjs是一个无界面的浏览器支持页面元素查找,js的执行等由于不进行css和gui渲染,运行效率要比真实的浏览器要快很多获取PhantomJS.exe文件路径path扩展: 保存屏幕快照:示例:注意:Phantomjs已停止开发。请移步......原创 2022-07-02 16:43:34 · 4107 阅读 · 0 评论 -
Python之Selenium模拟浏览器
selenium,Web应用程序测试的工具,模拟浏览器功能,python自动执行网页中的js代码,实现动态加载。使请求更加真实(好像是真的浏览器在请求)原创 2022-07-02 16:39:17 · 6589 阅读 · 0 评论 -
Python之xpath、JsonPath、bs4基本使用
1.路径查询2.谓词查询3.属性查询4.模糊查询5.内容查询6.逻辑运算1.3 示例:xpath.html1.4 爬取百度搜索按钮的value2. JsonPath2.1 pip安装:2.2 jsonpath的使用:JSONPath语法元素和对应XPath元素的对比:示例:jsonpath.json3. BeautifulSoup3.1 基本简介:3.2 安装以及创建:3.3 节点定位:3.5 节点信息 :3.6 使用示例:bs4.html3.7原创 2022-07-02 12:11:21 · 4336 阅读 · 0 评论 -
Python之Urllib使用
如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,沿着蜘蛛网抓取自己想要的数据2. 爬虫核心?爬取网页:爬取整个网页 包含了网页中所有得内容解析数据:将网页中你得到的数据 进行解析难点:爬虫和反爬虫之间的博弈数据分析/人工数据集社交软件冷启动舆情监控竞争对手监控5. 反爬手段User‐Agent:代理IP:验证码访问打码平台云打码平台超级🦅动态加载网页 网站返回的是js数据 并不是网页的真实数据数据加密模拟浏览器向服务器发送请求 服.原创 2022-07-01 21:25:08 · 4183 阅读 · 0 评论 -
Python基础语法入门篇(二)
Python基础语法入门篇(一)字符串的常见操作包括:获取长度: len函数可以获取字符串的长度。查找内容: 查找指定内容在字符串中是否存在,如果存在就返回该内容在字符串中第一次出现的开始位置索引值(从0开始计算),如果不存在,则返回-1.判断:, 判断字符串是不是以谁谁谁开头/结尾计算出现次数: 返回 str在start和end之间 ,在字符串中出现的次数替换原创 2022-06-29 21:55:19 · 4314 阅读 · 0 评论 -
Python基础语法入门篇(一)
在我们工作编码的过程中,如果一段代码的逻辑比较复杂,不是特别容易理解,可以适当的添加注释,以辅助自己 或者其他编码人员解读代码。注释是给程序员看的,为了让程序员方便阅读代码,解释器会忽略注释。使用自己熟悉的语言,适当的对代码进行注释说明是一种良好的编码习惯(不写注释小心扣工资)。以#开头,#右边的所有东西当做说明,而不是真正要执行的程序,起辅助说明作用。,或者都可以生成#号注释一般在代码的上方进行编写,尽量不要跟在代码的后边。保持良好的编码习惯以 ‘’’ 开始,并以 ‘’’ 结束,我们称之为多行注释。2原创 2022-06-27 23:43:30 · 5502 阅读 · 1 评论 -
Pycharm安装与设置
IDE的概念pycharm由捷克公司JetBrains开发的一款IDE,提供代码分析、图形化调试器,集成测试器、集成版本控制系统等, 主要用来编写Python代码。python安装下载地址:http://www.jetbrains.com/pycharm/download双击安装文件自定义安装路径(可以不用设置)编辑设置(全部选中)没有配置文件,选择不导入配置安装完成后运行Pycharm,选择 Create New Project ,创建一个新的Python工程。配置本地编译器创建一个python文件可以原创 2022-06-27 09:35:04 · 4055 阅读 · 0 评论 -
Python环境的安装
访问Python官网: https://www.python.org/ 点击downloads按钮,在下拉框中选择系统类型(windows/Mac OS/Linux等)选择下载最新版本的Python没有版本要求的话,尽量使用最新版本前几个版本。避免新版本的不稳定双击下载好的Python安装包勾选左下角 Add Python 3.7 to PATH 选项,然后选择 Install now 立刻安装Python.默认安装win键 + r,输入 cmd 回车 进入到windows的命令行模式。在命令行中输入Pyt原创 2022-06-27 09:34:00 · 4123 阅读 · 0 评论