关注
分享
文章平均质量分 76
“Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
Python的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。Python特点：易于学习、易于阅读、易于维护、一个广泛的标准库、互动模式、可移植、可扩展
鱼找水需要时间
千里之行，积于跬步；万里之船，成于罗盘
展开
-
Python实现定时任务的八种方案
在日常工作中，常常会用到需要周期性执行的任务，一种方式是采用Linux系统自带的crond结合命令行实现。另外一种方式是直接使用Python。接下来整理的是常见的Python定时任务的实现方式。目录。转载 2022-07-21 07:00:00 · 714 阅读 · 0 评论 -
Python之scrapy的post请求、日志和代理
1、重写方法：2、start_requests的返回值：使用testpost.py日志级别：默认的日志等级是DEBUG ，只要出现了DEBUG或者DEBUG以上等级的日志 ，那么这些日志将会打印settings.py文件设置：默认的级别为DEBUG，会显示上面所有的信息。在配置文件中 settings.py1、中，打开选项2、中使用代理...原创 2022-07-03 16:17:52 · 4256 阅读 · 1 评论 -
Python之CrawlSpider
CrawlSpider继承自scrapy.Spider可以定义规则，再解析内容的时候，可以根据链接规则提取出指定的链接，然后再向这些链接发送请求所以，如果有需要跟进链接的需求，意思就是爬取了网页之后，需要提取链接再次爬取，使用CrawlSpider是非常合适的链接提取器，在这里就可以写规则提取指定链接scrapy.linkextractors.LinkExtractor( # 正则表达式 提取符合正则的链接 # (不用)正则表达式 不提取符合正则的链接 # （不用）允许的域名 # （不用）不允许的域名# x原创 2022-07-03 16:00:56 · 3988 阅读 · 0 评论 -
Python之scrapy框架
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。安装过程出现错误：解决：如果报错，需要更新pip直接更新即可win32报错：如果还不行，直接使用anaconda2. scrapy项目的创建以及运行创建scrapy项目如果运行提示robots协议，可以注释掉settings.py中[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yqYrPMD8-1656768905原创 2022-07-02 21:35:44 · 3763 阅读 · 0 评论 -
Python之requests库
官网 requests库1.2 response的属性以及类型 ：models.Response : 获取网站源码 ：访问或定制编码方式 ：获取请求的url ：响应的字节类型 ：响应的状态码 ：响应的头信息1.3.2 get请求传递参数：1.3.3 post请求，百度翻译：1.3.4 代理请求2. 真实网站模拟登录(仅学习使用)注意修改账号、密码再进行测试3. 超级鹰打码平台当前目录存放，修改账号、密码、软件ID直接运行即可...原创 2022-07-02 18:21:20 · 3693 阅读 · 0 评论 -
Python之Phantomjs无界面浏览器
Phantomjs是一个无界面的浏览器支持页面元素查找，js的执行等由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多获取PhantomJS.exe文件路径path扩展： 保存屏幕快照:示例：注意：Phantomjs已停止开发。请移步......原创 2022-07-02 16:43:34 · 4107 阅读 · 0 评论 -
Python之Selenium模拟浏览器
selenium，Web应用程序测试的工具，模拟浏览器功能，python自动执行网页中的js代码，实现动态加载。使请求更加真实(好像是真的浏览器在请求)原创 2022-07-02 16:39:17 · 6589 阅读 · 0 评论 -
Python之xpath、JsonPath、bs4基本使用
1.路径查询2.谓词查询3.属性查询4.模糊查询5.内容查询6.逻辑运算1.3 示例：xpath.html1.4 爬取百度搜索按钮的value2. JsonPath2.1 pip安装：2.2 jsonpath的使用：JSONPath语法元素和对应XPath元素的对比：示例：jsonpath.json3. BeautifulSoup3.1 基本简介：3.2 安装以及创建：3.3 节点定位：3.5 节点信息 ：3.6 使用示例：bs4.html3.7原创 2022-07-02 12:11:21 · 4336 阅读 · 0 评论 -
Python之Urllib使用
如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的数据2. 爬虫核心?爬取网页：爬取整个网页 包含了网页中所有得内容解析数据：将网页中你得到的数据 进行解析难点：爬虫和反爬虫之间的博弈数据分析/人工数据集社交软件冷启动舆情监控竞争对手监控5. 反爬手段User‐Agent：代理IP：验证码访问打码平台云打码平台超级🦅动态加载网页 网站返回的是js数据 并不是网页的真实数据数据加密模拟浏览器向服务器发送请求 服.原创 2022-07-01 21:25:08 · 4183 阅读 · 0 评论 -
Python基础语法入门篇(二)
Python基础语法入门篇(一)字符串的常见操作包括：获取长度： len函数可以获取字符串的长度。查找内容： 查找指定内容在字符串中是否存在，如果存在就返回该内容在字符串中第一次出现的开始位置索引值(从0开始计算)，如果不存在，则返回-1.判断：, 判断字符串是不是以谁谁谁开头/结尾计算出现次数： 返回 str在start和end之间 ，在字符串中出现的次数替换原创 2022-06-29 21:55:19 · 4314 阅读 · 0 评论 -
Python基础语法入门篇(一)
在我们工作编码的过程中，如果一段代码的逻辑比较复杂，不是特别容易理解，可以适当的添加注释，以辅助自己 或者其他编码人员解读代码。注释是给程序员看的，为了让程序员方便阅读代码，解释器会忽略注释。使用自己熟悉的语言，适当的对代码进行注释说明是一种良好的编码习惯(不写注释小心扣工资)。以#开头，#右边的所有东西当做说明，而不是真正要执行的程序，起辅助说明作用。，或者都可以生成#号注释一般在代码的上方进行编写，尽量不要跟在代码的后边。保持良好的编码习惯以 ‘’’ 开始，并以 ‘’’ 结束，我们称之为多行注释。2原创 2022-06-27 23:43:30 · 5502 阅读 · 1 评论 -
Pycharm安装与设置
IDE的概念pycharm由捷克公司JetBrains开发的一款IDE,提供代码分析、图形化调试器，集成测试器、集成版本控制系统等， 主要用来编写Python代码。python安装下载地址:http://www.jetbrains.com/pycharm/download双击安装文件自定义安装路径（可以不用设置）编辑设置（全部选中）没有配置文件，选择不导入配置安装完成后运行Pycharm,选择 Create New Project ,创建一个新的Python工程。配置本地编译器创建一个python文件可以原创 2022-06-27 09:35:04 · 4055 阅读 · 0 评论 -
Python环境的安装
访问Python官网: https://www.python.org/ 点击downloads按钮，在下拉框中选择系统类型(windows/Mac OS/Linux等)选择下载最新版本的Python没有版本要求的话，尽量使用最新版本前几个版本。避免新版本的不稳定双击下载好的Python安装包勾选左下角 Add Python 3.7 to PATH 选项，然后选择 Install now 立刻安装Python.默认安装win键 + r，输入 cmd 回车 进入到windows的命令行模式。在命令行中输入Pyt原创 2022-06-27 09:34:00 · 4123 阅读 · 0 评论