python基础
学习python的各种遇坑,和技术的笔记
acwink
这个作者很懒,什么都没留下…
展开
-
爬虫基础(1)HTTP基本原理
爬虫基础 HTTP基本原理 2.1.1URI和URL URI 统一的资源标志符 URL 统一资源定位符 每个URL都是URI,但是URI不一定都是URL URI还包含子类URN(统一资源命名,就像ISBN) 2.1.2 超文本 英文名:hypertext 浏览器看到的网页就是超文本解析而成,我们可以把源代码HTML, 称为超文本。 每个网页都可以通过开发者工具,看到它的源代码。 ...原创 2020-03-28 14:42:00 · 104 阅读 · 0 评论 -
爬虫得基本原理
引:我们可以把互联网比作一张大网,而爬虫(即网络爬虫)便是在网上爬行的蜘蛛。 把网的节点比 作一个个网页,爬虫爬到这就相当于访问了该页面,获取了其信息。 可以把节点间的连线比作网页与 网页之间的链接关系,这样蜘蛛通过一个节点后,可以顺着节点连线继续爬行到达下一个节点,即通 过一个网页继续获取后续的网页,这样整个网的节点便可以被蜘蛛全部爬行到,网站的数据就可以被 抓取下来了。 爬虫的概述 ...原创 2020-03-28 14:46:00 · 181 阅读 · 0 评论 -
爬虫基础(2)网页基础
网页基础 网页的组成 网页课以分为三大部分:HTML,CSS和JavaScript。三者结合才能构成一个完善的网页。 1.HTML HTML 是用来描述网页的一种语言,其全称叫作 Hyper Text Markup Language,即超文本标记语言 图片 img 标签 视频 video 标签 段落 p 标签 他们之间的布局这是由 div标签嵌套组合而成。 各种标签通过补同的排列和嵌套...原创 2020-03-28 14:44:00 · 139 阅读 · 0 评论 -
会话(服务端)和Cookies(客服端)
引:在浏览网站的过程中,我们经常会遇到需要登录的情况,有些页面只有登录之后才可以访问 ,而 且登录之后可以连续访问很多次网站,但是有时候过一段时间就需要重新登录。 还有一些网站,在打 开浏览器时就向动登录了,而且很长时间都不会失效,这种情况又是为什么? 静态网页和动态网页 静态网页:不能根据URL的变化显示内容等。 动态网页:可以随着URL的改变改变页面(动态解析URL) 如让主机成一台...原创 2020-03-28 14:48:00 · 112 阅读 · 0 评论 -
代理的基本原理
代理:防止ip被封,通过代理设置代理服务器频繁的更换ip地址,来解决ip会被封的问题。 原理:。 如果设置了代理服务器, 实际上就是在本机和服务器之间搭建了一个 桥, 此时本机不是直接向 Web 服务器发起请求,而是向代理服务器发出请求,请求会发送给代理服务 器,然后由代理服务器再发送给 Web 服务器,接着由代理服务器再把 Web 服务器返回的响应转发给 木机。 这样我们同样可以正常访...原创 2020-03-28 14:47:00 · 375 阅读 · 0 评论 -
无聊用python写了个爬虫,来爬我喜欢的图片
还未解决网页超时问题,先放着,爬到一半就没了。首先看见自己喜欢的图片,忍不住要想下载,一个一个下又很麻烦,只好请求爬虫大大帮助啦。https://www.ivsky.com/bizhi/code_geass_t1300/网页分析:首先;每一页都对应着,很多的图片所以我们得先找到没一页对应得url,右键检查发现对应得页数是以一个单位递增,所以我们已经找到所以页数得url然后我们要提取,对应...原创 2020-03-27 14:13:00 · 178 阅读 · 0 评论 -
DjangoModels修改后出现You are trying to add a non-nullable field 'download' to book without a default; we...
这个问题是在模型中新添加的,在原来已经有的表单中没有值。所以在新添加的值得括号中添加如 1 download = models.ForeignKey(Download, on_delete=models.CASCADE, null=True)然后 1 python manage.py makemigrations 2 3 python manage.py migrate ...原创 2020-07-09 08:50:00 · 239 阅读 · 0 评论 -
解决write() argument must be str, not generator
我们用的是jieba.cut()返回的是一个课迭代generator,要通过循环获取词。所以还是用jieba.lcut()返回的是一个列表,问题就解决了。 1 # coding=gbk 2 import sys 3 import os 4 import jieba 5 6 import imp 7 imp.reload(sys) 8 9 def re...原创 2020-04-27 16:22:00 · 1914 阅读 · 1 评论 -
NumPy矩阵运算
矩阵初始化 import numpy as np m=np.zeros([3,5])# print (m) n=np.ones([3,5]) print(n) 生成3X5的矩阵值为0,1; #生成随机数矩阵 mn=np.random.rand(3,5)#3行4列的0-1之间的随机数矩阵 print(mn) #单位矩阵 z=np.eye(4)#4行4列一条对角线为1的单位矩阵 print (z)...原创 2019-12-21 20:01:29 · 243 阅读 · 0 评论