![](https://img-blog.csdnimg.cn/20201019093620416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python基础
学习python的各种遇坑,和技术的笔记
acwink
这个作者很懒,什么都没留下…
展开
-
爬虫基础(1)HTTP基本原理
爬虫基础HTTP基本原理2.1.1URI和URLURI 统一的资源标志符URL 统一资源定位符每个URL都是URI,但是URI不一定都是URLURI还包含子类URN(统一资源命名,就像ISBN)2.1.2 超文本英文名:hypertext 浏览器看到的网页就是超文本解析而成,我们可以把源代码HTML,称为超文本。每个网页都可以通过开发者工具,看到它的源代码。...原创 2020-03-28 14:42:00 · 102 阅读 · 0 评论 -
爬虫得基本原理
引:我们可以把互联网比作一张大网,而爬虫(即网络爬虫)便是在网上爬行的蜘蛛。 把网的节点比 作一个个网页,爬虫爬到这就相当于访问了该页面,获取了其信息。 可以把节点间的连线比作网页与 网页之间的链接关系,这样蜘蛛通过一个节点后,可以顺着节点连线继续爬行到达下一个节点,即通 过一个网页继续获取后续的网页,这样整个网的节点便可以被蜘蛛全部爬行到,网站的数据就可以被 抓取下来了。爬虫的概述...原创 2020-03-28 14:46:00 · 179 阅读 · 0 评论 -
爬虫基础(2)网页基础
网页基础网页的组成网页课以分为三大部分:HTML,CSS和JavaScript。三者结合才能构成一个完善的网页。1.HTMLHTML 是用来描述网页的一种语言,其全称叫作 Hyper Text Markup Language,即超文本标记语言图片 img 标签视频 video 标签段落 p 标签他们之间的布局这是由 div标签嵌套组合而成。各种标签通过补同的排列和嵌套...原创 2020-03-28 14:44:00 · 138 阅读 · 0 评论 -
会话(服务端)和Cookies(客服端)
引:在浏览网站的过程中,我们经常会遇到需要登录的情况,有些页面只有登录之后才可以访问 ,而 且登录之后可以连续访问很多次网站,但是有时候过一段时间就需要重新登录。 还有一些网站,在打 开浏览器时就向动登录了,而且很长时间都不会失效,这种情况又是为什么?静态网页和动态网页静态网页:不能根据URL的变化显示内容等。 动态网页:可以随着URL的改变改变页面(动态解析URL)如让主机成一台...原创 2020-03-28 14:48:00 · 107 阅读 · 0 评论 -
代理的基本原理
代理:防止ip被封,通过代理设置代理服务器频繁的更换ip地址,来解决ip会被封的问题。原理:。 如果设置了代理服务器, 实际上就是在本机和服务器之间搭建了一个 桥, 此时本机不是直接向 Web 服务器发起请求,而是向代理服务器发出请求,请求会发送给代理服务 器,然后由代理服务器再发送给 Web 服务器,接着由代理服务器再把 Web 服务器返回的响应转发给 木机。 这样我们同样可以正常访...原创 2020-03-28 14:47:00 · 370 阅读 · 0 评论 -
无聊用python写了个爬虫,来爬我喜欢的图片
还未解决网页超时问题,先放着,爬到一半就没了。首先看见自己喜欢的图片,忍不住要想下载,一个一个下又很麻烦,只好请求爬虫大大帮助啦。https://www.ivsky.com/bizhi/code_geass_t1300/网页分析:首先;每一页都对应着,很多的图片所以我们得先找到没一页对应得url,右键检查发现对应得页数是以一个单位递增,所以我们已经找到所以页数得url然后我们要提取,对应...原创 2020-03-27 14:13:00 · 175 阅读 · 0 评论 -
DjangoModels修改后出现You are trying to add a non-nullable field 'download' to book without a default; we...
这个问题是在模型中新添加的,在原来已经有的表单中没有值。所以在新添加的值得括号中添加如 1 download = models.ForeignKey(Download, on_delete=models.CASCADE, null=True)然后 1 python manage.py makemigrations 2 3 python manage.py migrate...原创 2020-07-09 08:50:00 · 234 阅读 · 0 评论 -
解决write() argument must be str, not generator
我们用的是jieba.cut()返回的是一个课迭代generator,要通过循环获取词。所以还是用jieba.lcut()返回的是一个列表,问题就解决了。 1 # coding=gbk 2 import sys 3 import os 4 import jieba 5 6 import imp 7 imp.reload(sys) 8 9 def re...原创 2020-04-27 16:22:00 · 1901 阅读 · 1 评论 -
NumPy矩阵运算
矩阵初始化import numpy as npm=np.zeros([3,5])#print (m)n=np.ones([3,5])print(n)生成3X5的矩阵值为0,1;#生成随机数矩阵mn=np.random.rand(3,5)#3行4列的0-1之间的随机数矩阵print(mn)#单位矩阵z=np.eye(4)#4行4列一条对角线为1的单位矩阵print (z)...原创 2019-12-21 20:01:29 · 237 阅读 · 0 评论