python爬虫学习（二）：python基础

最新推荐文章于 2020-05-21 14:54:39 发布
最新推荐文章于 2020-05-21 14:54:39 发布
阅读量186 收藏 1
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stonezry/article/details/106043395
版权

1.关于python一些基础的语法，想要相对系统的学习的话，这里推荐这个比较好的网上学习教程：

看完这两个教程，对python的基本操作应该就没有问题了。

另外也可以下载下列提供的某个电子书资源进行基础学习。
下载地址
https://pan.baidu.com/s/1OpFsXkwv991cuELAbVDqUA
密码：bnrg

在命令行通过命令运行python，可以输入

python +文件名

执行，比如建一个文件叫hello.py，里面的内容为print(“hello, world!”)，然后在命令后输入python hello.py。得到对应的hello, world!的输出，如下图
在这里插入图片描述
欢迎关注本人公众号和小程序，谢谢
在这里插入图片描述

在这里插入图片描述

Python爬虫入门教程：超级简单的Python爬虫教程.pdf
03-20
### Python爬虫入门教程知识点详解 #### 一、理解网页结构 在进行Python爬虫开发之前，首先要了解网页...通过以上内容的学习，初学者可以快速掌握Python爬虫的基本操作和技术要点，为后续更深入的学习打下坚实的基础。
Python爬虫入门指南：基础知识与实用技巧.zip
最新发布
05-01
本文介绍了Python爬虫的基础知识、常用库、基本步骤以及高级特性和实战应用案例。通过学习和实践这些内容，读者可以掌握Python爬虫的基本技能和进阶技巧，并能够开发出高效、稳定、安全的爬虫程序。随着大数据和人工...
Python爬虫案例2：爬取前程无忧网站数据
10-27
在本Python爬虫案例中，我们将探讨如何使用Python来爬取前程无忧网站的数据。前程无忧（51Job）是中国领先的招聘网站之一，提供大量的职位信息，这为我们提供了丰富的数据源来学习和实践网络爬虫技术。 首先，我们...
Python爬虫入门教程：超级简单的Python爬虫教程
05-24
Python爬虫入门教程以实战为导向，通过学习网页结构、使用requests库抓取数据、解析HTML以及数据清洗，让初学者快速掌握基础的爬虫技能。理解这些基本概念后，你可以继续深入学习更复杂的爬虫技术，如处理JavaScript...
pyhton爬虫学习（十五）：scrapy框架用户代理和ip代理的使用
stonezry的专栏
05-21 2525
当我们要爬取大量网页的时候，可能会收到对方服务器的限制，从而被禁止。 那么我们应该如何应对这些反爬虫机制呢 scrapy项目中可以有很多方法避免被禁止。其中两个比较好用的方式，就是使用用户代理池和ip代理池。因为大部分网站都是通过这两种方式进行反爬的。 那么具体怎么使用呢，这里我们就用用到scrapy的中间件middlewares。因为在scrapy中两者的使用方式大同小异，这里就合在一起讲。 首先是在setting.py设置用户代理池和ip代理池的变量，在其他py文件也可以，只要能被调用到就行。如下 设置
python爬虫学习（五）：代理服务器设置
stonezry的专栏
05-11 939
使用同一个ip频繁去爬取同一个网站的网页，可能会被屏蔽，这个时候，我们就可以使用代理服务器来解决这个问题。网上的免费获取代理服务器地址的网站，大家可以自行搜索，一般可以用他们提供的免费代理服务器地址，当然如果有钱的话，用付费的可能会靠谱一点。 那么怎么利用这些个地址呢，我的建议是可以自己写一个爬虫（后面会写一个源码供大家参考），然后把上面的ip地址一个一个爬取出来，存放到一个文件，或者数据库，可以存在MongoDB里面。要用的时候，读取出来，就可以用来设置代理服务器地址了。代理服务器地址的更换，检验可用与否
正则表达式(.+)和(.+?)的区别(python版)
stonezry的专栏
05-11 919
(.+)默认是贪婪匹配 (.+?)为惰性匹配 举个例子，我这边用python做测试。 import re pattern1 = “a.+b” pattern2 = “a.+?b” string = ‘abcdabcdabcdabcd’ result1 = re.match(pattern1,string) result2 = re.match(pattern2,string) print(result1) print(result2) 运行之后的结果如下： <re.Match object; spa
pyhton爬虫学习（十六）：scrapy框架通过管道pipeline存储成文件
stonezry的专栏
05-21 700
前面已经讲了scrapy框架的创建和运行，包括一些中间件的的设置和使用。 现在开始讲如何通过管道pipelines进行数据的存储，主要讲存储成文件形式。 我们知道创建的scrapy项目有一个pipelines.py的文件，这个文件就是用来存储我们定义的管道处理类的地方。不过要使用pipelines，首先需要在settings.py文件里面配置pipelines。 在setting.py文件里面找到关于pipelines的设置部分，默认设置如下所示。 # Configure item pipelines #
pyhton爬虫学习（十七）：scrapy框架通过管道pipeline存储到mysql数据库
stonezry的专栏
05-21 629
假设有这样一个需求，我们准备爬取如上图所示，京东商城的手机销售列表的信息，并存入到数据库中。 从图中，我们可以看到，准备存储这几个字段 图片（imageUrl），价格(price)，产品描述(description)，评论数(commentNum)，店名(shopName) 并且，我们还需要考虑分页爬取的问题。这里我们使用mysql数据库进行存储。Mysql操作这边我会说的很简单，毕竟不是我们本篇文章的重点。首先我们先创建数据库和存储的表。如下 CREATE DATABASE phonedb; cre.
python爬虫学习（三）：urllib的使用
stonezry的专栏
05-11 422
urllib是python内置的一个可以使用url模块的软件包的集合。 urllib.request 打开和阅读 URLs urllib.error 包含 urllib.request 抛出的异常 urllib.parse 用于处理 URL urllib.robotparser 用于解析 robots.txt 文件 1、urllib.request.urlopen() 该函数用于实现对目标url的访问，是urllib 获取普通网页的基本方法 def urlopen(url, data=None, tim
pyhton爬虫学习（十四）：scrapy简单实例的创建和运行
stonezry的专栏
05-20 380
接下来我主要通过一个具体的scrapy实例具体讲解scrapy框架的创建和运行过程。 首先，使用scrapy startproject hello创建一个hello的scrapy爬虫项目。 此时会生成一个名为hello的文件夹。该文件夹下拥有一个同名的子文件和一个scrapy.cfg的文件。该同名子文件下放置的是爬虫项目的核心代码，scrapy.cfg主要是爬虫项目的配置文件。 这个我使用PyCharm编辑器打开工程文件，工程结构目录如下： init.py： 爬虫项目的初始化文件，用来对项目做初始化工作。
python爬虫学习（四）：requests的使用
stonezry的专栏
05-11 355
requests也一个访问网络资源的模块包，不过是python的第三方库，处理url比urllib会更方便一些，而且还有很多实用的高级功能。 安装requests，这里采用pip进行安装： 在windows系统下只需要在命令行输入命令 pip install requests 即可安装。 在 linux 系统下，只需要输入命令 sudo pip install requests ，即可安装。 在 mac系统下，只需要输入命令 pip3 install requests ，即可安装。 安装成功
pyhton爬虫学习（六）：Cookie的使用
stonezry的专栏
05-11 340
什么是cookie 在爬虫的使用中，如果涉及登录等操作，经常要使用到Cookie。 那什么是Cookie呢？ 简单来说，我们访问每一个互联网页面，都是通过http协议进行的，而http协议是一个无状态的协议，所谓的无状态协议即无法维持会话间的状态。 比如你用http登录一个网站，加入登录成功了，但是访问该网站其他网页的时候，登录状态则会消失，还需要在登录一次，只要页面涉及更新，就需要反复的进行登录，这是非常不方便的。 所以我们需要对将一些会话信息通过某种方式保存起来。常用的有两种方式，通过cookie保持会
pyhton爬虫学习（七）：图片爬取实例
stonezry的专栏
05-12 333
爬取图片首先是找规律。 这里以京东搜索手机为例。 得到如下的请求连接 https://search.jd.com/Search?keyword=手机&wq=手机&page=1&s=30&click=0 如上图，是一个手机的商品列表展示页面，我们的目的就是爬取出所有的这些商品上面的图片。我们可以先试着切换一些底部的页面数字按钮，可以发现一个规律，page的值为奇数，s=page*30,其他都固定不变。 于是，我们可以想整出一个访问所有页面的方法，如下： for i in ra
pyhton爬虫学习（十二）：Scrapy的全局命令介绍
stonezry的专栏
05-20 326
上一节讲了scrapy环境的安装，不清楚的可以先看一下 pyhton爬虫学习（十一）：Scrapy的安装 这节开始scrapy常用的命令。可以通过scrapy -h查看常用的一些命令。这边主要介绍全局的命令。 startproject命令 对scrapy爬虫项目的创建，目前是通过命令创建。比如你有一个文件夹python，要在这个文件里面建一个名为helloworld的scrapy爬虫项目。 先用cd命令进入python文件里面，通过命令scrapy startproject helloworld，这个时候
pyhton爬虫学习（十三）：scrapy框架原理
stonezry的专栏
05-20 311
Scrapy架构图 引擎（Engine） 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 调度器（Scheduler） 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理 爬虫（Spiders） 它负责处
pyhton爬虫学习（一）：环境搭建
stonezry的专栏
05-10 284
Python是一种面向对象的解释型计算机程序设计语言，其使用，具有跨平台的特点，可以在Linux、macOS以及Windows系统中搭建环境并使用 那么要学习python爬虫，首先肯定是环境搭建了，这是所有软件都必须做的事情。 关于python的安装： 1.可以直接在python官网下载，官网地址：https://www.python.org/downloads/release 2.也可以下载Anaconda包，官网地址：https://www.anaconda.com/distribution/ 关于An
pyhton爬虫学习（九）：爬虫伪装
stonezry的专栏
05-19 282
有些网站可以识别出访问者是通过浏览器还是爬虫反问该网站，如果识别不是浏览器，就会禁止反问或者禁止该用户在网站上面的其他行为。比如不允许被登录等。如果此时我们想对该网站进行爬取，就需要使用浏览器的伪装技术。 那么什么是浏览器的伪装技术呢？ 要回答这个问题，我们首先了解一下常见的反爬虫机制： 通过分析用户请求的Headers信息进行反爬虫。 通过检测用户行为进行反爬虫，比如通过判断同一个ip在短时间内是否频繁访问对应网站等进行分析。 通过动态页面增加爬虫爬取的难度，达到反爬虫的目的，比如需要输入动态的图片验证
pyhton爬虫学习（八）：线程和队列的使用
stonezry的专栏
05-18 211
上一篇我们写了python实现图片爬取的实例,有兴趣可以看看 地址：https://blog.csdn.net/stonezry/article/details/106072145 我们还是实现和上面相同的功能，只是这里我们运用了线程和队列进行实现。 python的线程创建方法，这里有两种方法。 1. 将要执行的方法作为参数传给Thread的构造方法 target传递方法名字，args传递方法参数。 如下 #!/usr/bin/python3 import threading import time
Python爬虫实战学习：从基础到项目实践
资源摘要信息: "Spider-Learning-main.zip是一个与python爬虫相关的编程学习资源包。该压缩包中包含了多个文件，文件名称为Spider_Learning-main，表明其核心内容和主要学习目标是围绕Python编程语言开发的网络爬虫...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值