自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(25)
  • 收藏
  • 关注

原创 Django-慕课网制作(四)

书接上回,在之前的那一小节中我们实现了一个最基本的登录功能。但是在实际开发过程中,我们会发之前写的代码会遇到很多的问题。举个栗子:第一点:如果我们在用户名和密码框并没有输入一些东西,但是他依旧会往后台请求数据,这样就会造成服务器的工作加重第二点:依旧是如果我们请求后台的时候 请求的数据不符合规范。第三点:当我们请求数据没有通过时候,后台就自动给他返回到登录界面,我们想要保存上次请求的数据。解决思路:上面这些问题都是在进行判断数据库之前出现那,那么我们是不是就可以查询用户之前,就可以对请求的数据

2021-09-27 12:54:47 127

原创 Django-慕课网制作(三)——csrf

在慕课网制作(三)我挖了几个坑,今天就是来填坑的,本章主要是介绍什么是csrf。什么是csrf首先我们设想一个情境,我们要给某个人转账,张三知道了这个接口是一个post请求,转账就是通过这个点击这个请求。然后张三伪造了一个网站,当我们点击了这个接口,他就自动往张三的账户上进行了转账,因为使我们在本地进行点击,session也是在我们这台电脑上,银行后台就认为是我主动点击的。也退不回来了,那咋办????有办法,聪明的孩子 (疯狂暗示) 在一下子想到了我可以在 用get请求的网页的时候就在form表单中生

2021-09-24 20:47:42 116

原创 Django-慕课网制作(三)

Every bady 瞧一瞧,看一看啊!终于到了最激动人心的环节,从今天开始我们就要学习django的登录和注册了,是不是很激动(dog)在开始今天的笔记之前 我们还是要知道几个基本的概念。第一个:django是如果渲染网页的第二个:什么是CBV 什么是FBV第三个:什么是csrf第四个:什么是cookie和什么是session但是……这上面这四个问题都是一个单独的笔记,每一个都能说半天,今天就不在这里进行赘述了。今天的任务就是把一个简单的登录代码写出来,然后对里面代码进行一次分析,这

2021-09-23 22:58:10 170

原创 Django-慕课网制作(二)

书接上回:强力Django+ 杀手级xadmin开发在线教育网站 (全新开发) 这套教程来从零开始实现搭建一个在线教育网站第二天:今天的任务就是就要清楚整套课程的重点了 xamin 了他是一个基于django的开发的 第三方后台管理系统前戏部分首先就是引用这个xadmin这个资源然后根据里面的教程来进行一步一步的配置,在配置的过程中可能会遇到这样的一个错误ModuleNotFoundError: No module named 'widgets'在网上的教程教程是让你直接pip insta

2021-09-21 22:29:51 146

原创 Django-慕课网制作(一)

从今天开始通过慕课网:强力Django+ 杀手级xadmin开发在线教育网站 (全新开发) 这套教程来从零开始实现搭建一个在线教育网站第一天:创建一个django项目(使用django2.2版本)明确项目app创建对应的数据库创建django项目https://www.cnblogs.com/hellosen/p/12402362.html明确项目app通过对网站需求的理解,一共创建了四个appusers:用户操作operation:教育机构organizations:用户的一

2021-09-20 20:51:28 140

原创 python学习笔记——异常处理

AttributeError 试图访问一个对象没有的树形,比如foo.x,但是foo没有属性xIOError 输入/输出异常;基本上是无法打开文件ImportError 无法引入模块或包;基本上是路径问题或名称错误IndentationError 语法错误(的子类) ;代码没有正确对齐IndexError 下标索引超出序列边界,比如当x只有三个元素,却试图访问x[5]KeyError 试图访问字典里不存在的键KeyboardInterrupt Ctrl+C被按下NameError 使用一个还未

2020-12-07 20:26:39 54

原创 linux学习——基本命令

linux基本使用基础命令行(严格区分大小写):注:1、linux中所有命令行的的命令都可以相互组合来用 2、下面这些命令行的命令只是一些我们在日常工作生活中经常用到的,更多的是你什么时候用就去百度搜索 ls【命令】【参数】: 用途:显示当前目录下的文件 命令: l:当前目录文件的详细信息 a:当前目录下所有文件其中包含隐藏文件 p:显示当前文件夹信息 h:人性化显示信息 i:显示目录下文件的id

2020-11-29 22:19:02 53

原创 scrapy——运行多个item文件

在使用scrapy保存文件时我们有可能会遇到保存多个数据到不同的文件中,这里我们可以设置多个items,来进行保存下面时代码`from shares.items import New_spider,SharesItemclass SharesPipeline(object): def process_item(self, item, spider): if isins...

2019-12-04 10:20:33 918

原创 mongodb异常处理

更改mac数据库保存路径mongodb默认保存文件路径是在mac根目录下但是由于更新了最新的mac 10.15.1版本系统,不支持更改根目录,所以需要对文件保存路径进行更改 这里使用下面的一段命令sudo mongod --dpath=/users/qq/data/db #dpath后面跟路径(这里必须是有这个文件夹) 在打开数据库的时候会遇到sh...

2019-12-02 17:35:27 306

原创 python学习笔记爬虫——scrapy学习(三)

在整个scrapy框架中其中的一个最关键的步骤就是保存文件,在scrapy中保存文件的方式有很多,其中最简单的一种就是直接在执行scrapy时在后面加上-o 加上要保存的文件名称就可以scrapy crawl 项目名 -o 文件名称但是这种现在文件的方式并不是很受官方推荐,原因就是他有很大的局限性,最大的一点就是他只能保存文本内容像是一些下载图片的功能就实现不了,其中最受官方推荐保存文件方式...

2019-10-13 22:19:50 169

原创 python学习笔记爬虫——scrapy学习(二)

我在使用scrapy进行迭代爬取的时候 会出现这个错误 DEBUG: Filtered offsite request to 但是程序并没有报错但他只爬取了我们定义的第一页的内容 我改过很多次程序,知道后来看到一个博客上的内容恍然大悟,博客上写的是要request的地址和allow_domain里面的冲突,从而被过滤掉。,这里我们只需要在使用yield(生成器) 生成url是将过滤取消就行了下...

2019-10-10 22:51:53 71

原创 python学习笔记爬虫——scrapy学习(一)

如何创建一个项目:首先在终端输入scrapy startproject 文件夹名称 第二部,到这个文件夹里面,继续在终端中输入scrapy genspider 项目名称 项目网址示例scrapy genspider quotes quotes.toscrape.com/ 执行文件 在终端中输入scrapy crawl 项目名称...

2019-10-06 18:13:01 66

原创 python学习笔记——自动生成图表工具(更新二)

本次的更新是昨天那篇文档的全部再次颠覆性改变。还是改变main.py这个文件 增加了以下几个功能1.增加了如果输入文件路径错误后的操作2.同一种图表类型的循环使用3.对代码再次进行封装使代码变得更加的简单阅读4.方便以后增加图表类型上一次代码import csvimport matplotlib.pyplot as pltimport ai_menu.get_data as num...

2019-09-21 10:05:22 216

原创 python学习笔记——自动生成图表工具(更新一)

今天我只对这个项目中的main.py主控文件进行更改,给他增加了一个制造一个图表后是否继续制作的功能,就是仅仅使用了while Ture的方法原代码import csvimport matplotlib.pyplot as pltimport ai_menu.get_data as number_datafrom ai_menu.menu import bar_menu # 条形图fr...

2019-09-19 12:26:52 783

原创 python学习笔记——自动生成图表工具

这次的博客停更了很长时间,第一个原因是因为工作的原因,没有多余的时间来一边看视频,一边来写博客、第二个原因是我想对我之前停些时间用来给我之间的知识进行一次的总结、其中还有一个最大的原因是我前几天在写爬虫的时候看见别人写完的爬虫数据用可视化的形式展现出来,所以我就试着模仿了一下,没想到python在这一方面的效果怪好,然后我就又胡思乱想了,我能不能靠我现在的知识来写一个自动图表工具,说干就干,因为这...

2019-09-18 11:01:12 517

原创 python学习笔记——numpy模块使用(二)

import numpy as np#Numpy数据索引 #常见索引'''对数组最简单的就是常见的[]索引'''print('-'*50)x=np.array([1,2,4])print('x[0]:',x[0])x[0]=0print('x:',x)y=np.arange(6).reshape(3,2)'''arange函数用于创建等差数组,非常相似range...

2019-08-29 22:08:07 83

原创 python学习笔记爬虫——爬取斗鱼主播信息

网址:‘https://www.douyu.com/directory/all’思路:首先需要对斗鱼网址进行查看,我切换到下一页发现网址并没有改变,因此可以知道网页应该是由js解析出来的,然后对网页进行抓包发现一个网址‘https://www.douyu.com/gapi/rkc/directory/0_0/2’他返回的都是个json类型的数据,里面的信心都与我们请求的数据一样,还有他后面的2表...

2019-08-25 14:10:10 638

原创 python学习笔记爬虫——爬取链家网指定地区所有数据并保存到csv文件中

下面是代码import requests,csv,random,re,timefrom lxml import etreeproxies={ 'http':'http://113.128.28.170:9999', 'http':'http://47.107.93.105:8000', 'http':'http://123.163.122.189:9999', ...

2019-08-23 22:51:57 10883

原创 python学习笔记爬虫——selenium爬取单个网页

selenium的初级使用可以参照上一个博客:"https://blog.csdn.net/qq_30305565/article/details/99864979’这次的目的时使用selenium来爬取表情网的最新表情中的一页数据from selenium import webdriverfrom lxml import etreedef init(): '''初始化一个浏览器...

2019-08-20 17:52:30 91

原创 python学习笔记爬虫——自动分配多线程

这次的文章是对上一篇文章的扩展在上一篇文章中我使用了程序自动进行分配多线程的方法,不过之前的有一个问题是他最多只能爬取16页的数据,因为之前的是把一个大列表划分为每一个列表都是4个元素的小列表,我们下只开了四个线程,因此就只能使用最多16个数字,但是今天我把之前的程序又改了一下,这次的功能是程序自动把一个大列表分为四个小列表,小列表里面的元素并不固定而是根据大列表元素数量的多少来决定的.下面是...

2019-08-17 21:34:45 197

原创 python学习笔记爬虫——爬取必应壁纸

网址:“https://bing.ioliu.cn/”知识点:这次我跟之前爬取图片的程序最大的不同是我这次采用了自己设置要采取的页数,然后程序会自动将任务平均分到之间四个线程中,不在跟之前的一样需要人为的设置每个线程要爬取几页,他用到的知识点就是我们简单列表分割。思路:我输入一个数字,程序把它变为一个列表,然后自动将我们刚才输入数字的列表把它变为一个个的小列表,然后在使用多线程将每个列表中最小...

2019-08-17 21:20:48 174

原创 python学习笔记爬虫——爬取摄影论坛汉服照片

网址:“http://www.52guzhuang.com/portal.php”思路:获取汉服论坛的图片。遇到的问题:第一个是这个网站比之前的网站不一样,这里的图片是以论坛的样式展示图片,有的图片还有文字但是值得庆祝的是我们只需要利用正则匹配图片就可以避免匹配到文字。第二个问题是我想下载图片时把每一页的图片下载获取到每个链接的名字以文件夹的形式保存下载的图片,但是这个需求一直都没有完成。。。...

2019-08-16 10:29:00 679 1

原创 python学习笔记爬虫——爬取网络表情包

网站:‘https://www.doutula.com/’目的:指定要从第几页开始到第几页结束爬取最新表情包图片代码:import requests,time,random,refrom bs4 import BeautifulSoupfrom lxml import etreefrom urllib import requestimport sslssl._create_def...

2019-08-10 21:51:31 199

原创 python学习笔记——装饰器的使用

满足装饰器的两个条件:在不改变函数源代码的情况下,给函数增加新的功能不改变函数的调用方式在理解装饰器之前需要理解的几个思想一、一个函数就相当于一个变量,他的名称就是他的变量名,而函数体相当于变量的值def run(): print('in the run')在上面的那个函数中,他的变量名就是run,当我们打印run的时候他打印的值是一串内存地址,我们可以把变量比作为在移动大厦...

2019-08-07 14:32:28 137

原创 python学习笔记爬虫——爬取智联招聘信息

目的:自己输入指定地方,指定职业,起始页数,程序会自动打印页面的所有信息。实现过程:这次程序的代码跟以往的都不一样,这次也是我第一次使用面向对象式编程,并且并不是分析网页代码,分析json字符串得到数据下面是代码import requests,random,reimport urllibuser_agent = [ "Mozilla/5.0 (compatible; Bai...

2019-08-04 22:11:08 344

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除