- 博客(16)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 headers的分析与详解
上次我们完成一个关于json数据的实战，这次我们来研究一下headers。 我们传入中的headers都是以字典的形式传入的，里面包含一个参数：
2022-05-14 13:40:51
600
原创 使用json数据（中）
上一次我们简单学习了json数据的使用，我们这次来作一个实战。 我们向网站传递了parpam，第一个pn指出了图片的数量，第二个time，则是时间戳，我们用time模块的time.time()乘1000来生成。这样我们就得到了网站的json数据，下次我们开始正式使用它。...
2022-05-02 18:09:01
181
1
原创 使用json数据（上）
上一次的我们学习。如何获取网站的json，但是它又有什么用呢？今天我们就来作一个简单的使用。 首先，比较复杂的json是不适合人阅读的，所以我们要找一些json解析器来解析一下。解析器可以从网上找，我这里就不展示了。 解析完成后，我们可以在里面找到一些有用的信息，我们就能用查询字典、列表的方式来获取它们。 现在如果这是一个图片网站，json里有的信息就可以帮助我们获取各张图片的URL，我们就可以批量获取图片了。...
2022-04-26 20:06:37
66
原创 网站的json数据
我们知道，Python的一些数据可以用字典、列表等，网站也是这样，它们会用一种叫json的格式存储。 json（JavaScript Object Notation）是最早用于java的一种格式，后来被广泛应用。在网站一般会存储一些文件信息。 json的获取方式十分简单，如下面这个例子：我们把content改成了json，现在我们就拿到了网站的json数据了。...
2022-04-25 20:01:48
906
原创 认识请求体
在上次分析浏览器的时候，有人可能会看到params或data这样的标题。这其实是浏览器根据需要给服务器提供的参数，即请求体，服务器会根据参数给你相应的东西。比如，你去爬虫一个翻译软件，那么，你将原来的文本以参数的形式传入，服务器就会返回给你翻译后的文本。 现在我们先做一个简单的事例：这里用了浏览器请求头请求了一个URL，并传递了params，给了服务器一些参数，不过这里注意一下，如果是POST，应该把params关键字改成data，否则是会报错的。...
2022-04-23 16:11:14
435
2
原创 分析浏览器（下）
上次我打开了浏览器的开发者选项，并打开了Network，但我没有仔细讲它。今天我的开始继续学习该内容。 我们仍旧打开Network，这里你可以看到很多的参数。而我们需要分析的只是一些参数，这些参数决定了你该怎样向服务器发出请求。1.General 这里包含了许多的关于请求的内容信息，特别是request URL和request Method。（1）. request URL 这里包含了你请求的URL，一般不要管问号后面的参数，问号以及问号前面的东西才是重...
2022-04-20 18:41:40
213
3
原创 分析浏览器（上）
上次我们讲了POST请求，我说过要分析浏览器，提高工作效率，这次我们就来分析它。 首先我们随便打开一个网站，按F12打开开发者选项： 我们点开Network查看请求与响应的情况： 这里包含了许多关于请求和响应信息，如请求方式、请求头，以后我会详细介绍。......
2022-04-18 21:02:35
71
原创 初识POST请求
有时候网站会将你禁止访问，有可能是因为请求方式不行，这次我们就来解决这个问题。 网站的请求方式分GET请求和POST请求，GET就是我们之前用get类，POST则是我们今天要认识的post类。 post和get用法差不多，但原理不同，get好比是你派了一个使者去服务器把东西带回...
2022-04-16 12:26:37
296
原创 requests发生Error处理（一）
上次我们请求了html，但有些网站会报错，那可能是因为请求不成功。我们去掉content.decode()来输出一下，你会发现输出的不是<Response [200]>而是200被替换成其它，如403，这说明请求不成功，还有可能是你的参数填错了，检查一下，如果参数没错，那么说明你被禁止。...
2022-04-11 19:58:09
2449
原创 网页源码和headers
关于requests这个话题，我昨天给大家展示了requests的入门操作，今天我们来做点更复杂的案例。我们在昨天的get后面加了：content.decode('utf-8')这让r变量返回了网页源码的文本，utf-8是编码方式，如果出错，我们就可以把它改成gbk。 但很多网站只会给你一点点，源码却远不止这些，因为它看到你的请求头是爬虫的请求头，所以它就只给你一点点。我们设置一下它就可以了。我们这里定义了headers，我这里没填，不过大家可以去浏览器复制。改......
2022-04-10 09:25:03
2459
原创 requests爬虫入门
要说Python最常用的领域，就是网络爬虫了，有些人学Python纯粹就是为了学习爬虫。那么爬虫为什么会如此受欢迎呢？我们今天就来聊一聊Python爬虫。 爬虫这事情其实你几乎每天都干，爬虫分两种：通用爬虫和聚焦爬虫。通用爬虫就是普通的上网，因为某些内容会被限制，所以需要使用聚焦爬虫。 爬虫需要用到一个模块，urllib或者requests因为urllib使用起来很复杂，所以我们使用requests来进行爬虫。 首先，requests不是Python标准库，需要手动安装......
2022-04-09 15:45:24
722
空空如也
怎么把自己写的模块发到pypi上去
2022-03-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人