自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 我要悄悄学Python之元组与代码格式

目录元组定义元组遍历元组中的所有值修改元组变量设置代码格式格式设置指南缩进行长空行最后元组列表非常适用于存储在程序运行时可能变化的数据集。列表是可以修改的,然而,有时候你需要创建一系列不可修改的元素,元组可以满足这种要求。Python将不能修改的值称之为不可变的,而不可变的列表称为元组。定义元组元组看起来像列表,但是是使用圆括号,而不是方括号括号来标识。定义元组之后,就可以使用索引来访问其元素,就像列表元素一样。例如,如果有一个大小不应该改变的矩形,可以将其长度和宽度存储在一个元组中,从而确保它们

2021-03-03 20:51:38 173 1

原创 我要悄悄学Python之环境搭建

前言话说,工欲善其事,必先利其器。今天有几个小伙伴们问我,怎么样安装Python环境,我本来以为大家都是可以正常安装的,但是却不会安装,或是其他的原因安装失败。所以,今天我特地写一篇文章来告诉大家,怎么样安装Python的环境。Python安装包获取首先,在浏览器上输入:https://www.python.org/进入Python官网,页面如下所示:鼠标滑至Downloads并点击windows,如下图所示:点击进去之后,往下拉,选择3.8.5这个版本,这个版本目前来说是比较稳定的版

2021-02-28 19:44:38 158

原创 写完有道翻译爬虫之后,顿时,我悟了!!

目录前言信息校验反爬虫User-Agent反爬虫Cookie反爬虫签名验证反爬虫有道翻译网页分析数据包分析js文件分析sign的生成代码实现获取salt、sign和lts表单构建获取翻译内容结果展示最后前言经过前面的学习,相信大家对爬虫和Web网站构成有了一定的了解。在本次分享中,我将为大家带来新的内容:信息校验反爬虫。信息校验中的“信息”指的是客户端发起网络请求时的请求头和请求正文。而“校验”指的是服务端通过信息的正确性、完整性或唯一性进行验证和判断,从而区分正常用户和爬虫程序的行为。在web应

2021-02-27 20:46:25 271

原创 Python爬虫:简单的图片验证码识别

前言目前,许多网站采取各种各样的措施来反爬虫,其中一个措施便是使用验证码。随着技术的发展,验证码的花样越来越多。验证码由最初的几个数字组合的简单的图形验证码,后来加入了英文字母和混淆曲线。有的网站还可以看到中文字符的验证码,这使得识别愈发困难。现在交互式验证码越来越多,如滑动验证码,需要滑动拼合滑块才可以完成验证,点触验证码需要完全点击正确的结果才可以完成验证,另外还有滑动宫格验证码、计算题验证码等等。验证码变得越来越复杂,爬虫的工作也变得愈发困难。有时候我们必须通过验证码的验证才能访问页面。本次分

2021-02-26 21:49:43 3034 1

原创 我要悄悄学Python之操作列表

目录前言遍历整个列表在for循环执行更多的操作在循环结束后再执行一些操作避免缩进创建数值列表使用函数range()使用range()函数创建数字列表对数字列表执行简单的统计计算使用列表的一部分切片复制列表最后前言在上一篇文章中教会了大家如何创建了列表,还学习了如何操作列表元素。接下来我就将上次分享给大家的内容先总结整理给各位小伙伴,具体如下图所示:本次文章主要为大家分享如何遍历整个列表,这只需要几行代码就可以,无论列表有多长,循环能够让你对列表中的每一个元素采取一个或者是一系列相同的措施,从而高效

2021-02-24 13:53:47 106

原创 好家伙!Python的职位居然这么多

目录前言项目准备网页分析关于动态渲染关于翻页需求分析与功能实现详情页分析获取详情数据结果展示可视化观察学历统计工作经验统计最后前言在上一篇文章中,为大家分享了selenium的使用方法,因此今天这篇文章为大家带了的就是关于selenium的实战项目。本次项目的内容是爬取51job的招聘信息,希望接下来的内容对你找工作有所帮助。项目准备本次项目涉及到的库比较多,需要各位小伙伴们先做好准备:requestsseleniumlxmlcsvpandasmatplotlib安装方式应该不需

2021-02-20 22:11:06 213

原创 我要悄悄学Python之列表(二)

在学习之前,需要各位小伙伴具有百度的搜索能力。本系列分享的每一章都是核心知识。在编程的过程当中遇到的问题可以自己百度可以解决的一定要自己解决,实在是不会再问问题。目录前言使用方法sort()对列表进行永久排序使用函数sorted()对列表临时排序倒着打印列表确定列表长度使用列表时避免索引错误最后前言在上一次文章中,为大家分享了什么是列表,以及列表的增删改查的四种用法。跟着代码进行学习,相信大家应该可以学到不少的东西。今天的这篇文章为大家分享的是如何组织列表。很多时候,我们需要控制列表内元素的顺序.

2021-02-19 16:31:43 170

原创 我要悄悄学Python之列表(一)

在学习之前,需要各位小伙伴具有百度的搜索能力。本系列分享的每一章都是核心知识。在编程的过程当中遇到的问题可以自己百度可以解决的一定要自己解决,实在是不会再问问题。目录前言列表是什么访问列表元素索引是从0开始而不是1修改、添加和删除元素修改列表元素在列表中添加元素从列表中删除元素最后前言本次分享的知识是列表的知识,我会用两篇文章来告诉你什么是列表,以及如何使用列表。列表能够让你在一个地方存储组成的信息,其中可以包含几个元素,也可以包含数百万的元素。列表是新手可以直接使用的强大Python功能之一。.

2021-02-18 16:00:05 133

原创 Python爬虫:学习selenium的正确姿势!!!

目录前言selenium的安装pip 安装验证安装ChromeDriver的安装下载ChromeDriver环境变量配置验证安装selenium的基本使用介绍简单示例查找元素等待页面加载完成显式等待隐式等待等待条件前进和后退Cookie异常处理最后前言在上篇文章中,我为大家介绍了Ajax的分析和抓取方式,这其实也是javascript动态渲染页面的一种方式,通过直接分析Ajax,仍然可以通过requests来实现数据的获取。不过javascript动态渲染页面不止Ajax这种。有些网站的分页部分可能是

2021-02-17 21:17:18 490 2

原创 Python爬虫:学会这个,新一任赌神就是你!!!

目录前言网页分析获取json数据获取数据保存数据数据分析查看数据成交量图表获取前30条数据成交量可视化最后前言相信大家在很多的时候,在公众号上经常会看到很多关于购买股票或者是基金的课程,让大家学会理财。就是所谓钱生钱。买股票与基金靠的不是运气,而是长期以来的经验,特别是对数据的敏感程度,做出正确的决策,因此今天我就特定的将股票网站的数据爬取下来,让各位买股票的小伙伴做一个参考。网页分析爬取的网址如下:https://xueqiu.com/打开页面如下所示:现在,我要找的是沪A成交额的数据,

2021-02-16 01:57:03 390 3

原创 Python爬虫:啃书君教你数据持久化存储

目录前言关系型数据库准备工作连接数据库创建表插入数据删除数据查询数据更新数据实战准备当当网网页分析解析网页书籍名称推荐率作者姓名初版社与出版时间书籍价格创建数据库与数据表连接数据库并插入数据最后结果最后前言写了很多的教程,不知道大家发现没有,很多时候写爬虫,并保存数据的时候,一直都是将数据保存至txt文件或者是Excel文件中。不知道你是否想过,在企业的开发过程 ,数据是保存在哪里的吗?数据是保存在数据库当中,常见的数据库有MySQL、Oracle、mongodb等等。我们今天要讲的数据库是MySQL。

2021-02-14 12:21:13 528 1

原创 Python爬虫:啃书君教你玩转requests库

文章目录前言一、requests模块使用1.1 requests模块发送get请求1.2 response响应对象1.3 response.text与response.content的区别1.4 通过对response.content进行decode,来解决中文乱码1.5 response响应对象的其他常用的属性和方法二、requests模块发送请求2.1 发送带headers的请求2.1.1思考2.1.2 携带请求头发送请求的方法2.2 发送带参数的请求2.2.1 在url携带参数2.2.2 通过para

2021-02-13 11:14:49 536 2

原创 Python爬虫:什么是爬虫?怎么样玩爬虫?

本次专辑我打算出【Python爬虫】,从0到1带大家入门爬虫到精通爬虫,接下来会有更加精彩的内容。关注我,跟着我一起来学习爬虫吧!目录Python爬虫入门:什么是爬虫?爬虫特点概要爬虫的概念爬虫的作用爬虫的分类根据被爬网闸的数量不同,可以分为:根据是否以获取数据为目的,可以分为:根据URL地址和对应页面内容是否改变,数据增量爬虫可以分为:爬虫流程http以及https的概念和区别爬虫特别注意的请求头爬虫特别注意的响应头常见的响应状态码http请求的过程注意最后Python爬虫入门:什么是爬虫?.

2021-02-12 13:24:42 279 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除