自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

__Samual的博客

不是看到希望了才去坚持,而是坚持了才能看到希望!

  • 博客(81)
  • 问答 (1)
  • 收藏
  • 关注

原创 Fidder中自定义规则(Customize Rules)打不开的解决方法

在浏览器中输入file:///C:/Windows/Fonts/cour.ttf,则自动下载cour.ttf文件。然后重新Fidder打开Customize Rules(自定义规则),弹框在此跳出,选择是进行修改。在打开fidder,进入Rules -->Customize Rules时,发现会出现报错弹框。将文件安装到Fidder目录中的ScriptEditor的文件夹中。说明在fidder文件中该文件缺少或损失,需要重新下载安装。选择完成后,点击确定重启Fidder即可打开编辑器。

2023-06-01 15:20:39 1398 2

原创 Django在进行数据迁移时报错原因解决

在进行python manage.py makemigrations时出现了以下报错原因。跟据报错信息可以看出系统默认指向的模型类与我们项目自己定义模型类指向产生了冲突。所以解决该问题的方法是在setting.py配置文件中添加。将系统默认的改为自己创建的,再次进行文件迁移即可。

2023-02-27 10:59:07 438 1

原创 Redis数据库安装(Windows)

2、输入连接名称,输入Host主机名称或地址,输入端口号,默认6379端口,Auth是密码字段,如果redis服务器设置了密码验证,则需要填写,没有设置,为空即可。1.打开RedisDesktopManager客户端软件,首次打开,连接列表都是空白的,添加新的redis连接。然后在另外打开一个终端,这个终端不要关闭,同样切换的Redis路径下,输入。双击文件,就能打开Redis服务,下面操作,与第一种方法相同。打开终端,将路径切换到Redis文件的相应路径,输入下命令。找到Redis点击,然后启动服务。

2022-11-27 15:40:44 2400 2

原创 scrapy的入门使用

定义一个管道类重写管道类的process_item方法process_item方法处理完item之后必须返回给引擎## 爬虫文件中提取数据的方法每yield一次item,就会运行一次# 该方法为固定名称函数# 参数item默认是一个 类信息,需要处理成字典# 将返回的字典数据转为JSON数据# 写入JSON数据# 参数item:是爬虫文件中yield的返回的数据对象(引擎会把这个交给管道中的这个item参数)

2022-11-26 18:42:41 2355

原创 scrapy的概念和流程

框架就是把之前简单的操作抽象成一套系统,这样我们在使用框架的时候,它会自动的帮我们完成很多工作,我们只需要完成剩余部分。下载器(downloader):发送引擎发过来的request请求,获取响应,并将响应交给引擎。爬虫(spider):处理引擎发过来的response,提取数据,提取url,并交给引擎。scrapy的概念:Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。少量的代码,就能够快速的抓取 ,框架是代码的半成品,提高效率(爬虫效率和开发效率)

2022-11-26 17:22:42 189

原创 Windows系统解决谷歌翻译不能用的问题

最近在使用谷歌浏览器(Chrome)的时候,点击右键翻译,一直都给我提示页面无法翻译,从网上查阅资料才了解到了谷歌关闭了中国大陆的谷歌翻译服务,同时也找到了解决这个问题的方法。

2022-10-29 15:19:17 1487 2

原创 mitmproxy库的安装使用

mitm的全称是Man-in-the-middle attack(中间人攻击),它是一种"间接"的入侵攻击,这种攻击模式是通过各种技术手段将受入侵者控制的计算机虚拟放置在网络连接中的两台通信计算机之间,这台计算机就成为中间人,有一点类似我们之前使用的fiddler以及IP代理。

2022-10-23 13:41:07 2366

原创 生产者消费者设计模式(Python)

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用通过等待消费者处理,直接扔给阻塞队列,消费者不着生产者拿数据,而是直接从阻塞队列中取,阻塞队列相当于一个缓冲区,平衡了生产者和消费者的处理能力。这个阻塞队列(消息队列)就是用来将生产者和消费者进行解耦的消息队列是消息在传输的过程中保存消息的容器。RabbitMQ、ActiveMQ、Kafka等等。RabbitMQ和ActiveMQ比较。

2022-09-23 13:44:38 1188

原创 单例模式(Python中的单例类)

单例模式是一种常用的软件设计模式。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问,从而方便对实例个数的控制并节约系统资源。如果希望在系统中某个类的对象只能存在一个,单例模式是最好的解决方案。1、单例类只能有一个实例。2、单例类必须自己创建自己的唯一实例。3、单例类必须给所有其他对象提供这一实例。1.单例模式的类只提供私有的构造函数,

2022-09-20 13:58:41 3514

原创 Django使用jinja2时出现的问题

在settings.py文件中将原有的Django模板直接换成了jinja2模板,所以程序会出现报错说Django模板没有在模板中配置,所有需要在jinja2模板后面将原有的Django模板写入,程序才能正常运行。通过错误分析:DjangoTemplates的实例必须在模板中配置才能使用管理应用程序。注意:jiaja2模板一定要放在前面, 否则默认生效的还是django模板引擎。

2022-09-17 08:56:00 1235 1

原创 Mongodb的基本操作

掌握 mongodb插入数据的方法掌握, mongodb保存数据的方法掌握 ,mongodb查询数据的方法掌握 ,mongodb查询结果的处理方法掌握 ,mongodb更新数据的方法掌握 ,mongodb删除数据的方法

2022-09-09 10:29:08 1911

原创 解决按照官方文档安装MongoDB后启动失败的问题(Ubuntu)

经过多次的查找后,发现是dbpath目录(默认:/var/lib/mongodb),日志目录(默认:/var/lib/mongo)权限的问题权限不足,所以导致命令启动失败,所以需要对次赋予权限才能够正常启动,按照文档的步骤安装前都是一切顺利完成的,但是到了完成后到运行。MongoDB时就出现了问题,使用文档提供的命令来启动。执行后,重新启动,就能启动成功了。MongoDB,总是启动不成功。

2022-09-07 15:14:17 3768 3

原创 Selenium的其他方法

在了解了隐式等待和显式等待以及强制等待后,我们发现并没有一种通用的方法来解决页面等待的问题,比如“页面需要滑动才能触发ajax异步加载”的场景,那么接下来我们就以。iframe是html中常用的一种技术,即一个页面中嵌套了另一个网页,selenium默认是访问不了frame中的内容的,对应的解决思路是。页面在加载的过程中需要花费时间等待网站服务器的响应,在这个过程中标签元素有可能还没有加载出来,是不可见的,如何处理这种情况呢?缺点时不智能,设置的时间太短,元素还没有加载出来;设置的时间太长,则会浪费时间。

2022-08-23 08:06:05 132

原创 Selenium元素定位

在Selenium中可以通过多种方式来定位标签,返回标签元素对象 ,Selenium提供了下面的方法进行元素定位:find_element_by_id (返回一个元素)find_element(s)_by_class_name (根据类名获取元素列表)find_element(s)_by_name (根据标签的name属性值返回包含标签对象元素的列表)find_element(s)_by_xpath (返回一个包含元素的列表)find_element(s)...

2022-08-22 08:29:57 3216

原创 Selenium的安装以及简单使用

根据操作系统下载正确版本的chromedriver (这里没有win64,我们下载win32的驱动即可,因为64位的系统可以适配32位)选择相应的版本后,点击进入,可在notes.txt中查看所支持的浏览器版本号。点击新建,将复制的 chromedriver 所在的路径粘贴上去。1.找到chromedriver的位置,复制当前位置的目录路径。粘贴完成后,就点击【确定】,后一直点击【确定】即可。在【高级系统设置】中,点击【环境变量】在下面的【系统变量】中双击【Path】首先,打开【此电脑】,右击打开属性。..

2022-08-21 10:13:42 1043

原创 数据提取之jsonpath模块

Json Path和JSON文档有关系,正如XPath之于XML文档一样, JsonPath为Json文档提供了解析能力,通过使用JsonPath,你可以方便的 查找节点、获取想要的数据,JsonPath是Json版的XPath。

2022-08-19 09:54:04 967

原创 数据提取之Xpath语法

即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。XPath基于XML的树状结构,提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快地被开发者采用来当作小型查询语言。XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath 是一个 W3C 标准。...

2022-08-18 08:31:54 834

原创 Requests模块案例之GitHub登录抓包分析

在打印的输出结果中搜索title,html中的标题文本内容如果是你的github账号,则成功利用headers参数携带cookie,获取登陆后才能访问的页面。输入账号密码点击登陆后,访问一个需要登陆后才能获取正确内容的url,比如点击右上角的Your profile访问。确定url之后,再确定发送该请求所需要的请求头信息中的User-Agent和Cookie。headers请求参数字典中的Cookie键对应的值是字符串。浏览器中的请求头字段和值与headers参数中必须一致。...

2022-08-17 07:52:50 336

原创 Requests模块

该模块主要用于发送请求获取响应,该模块有很多的替代模块,比如说urllib模块,但是在工作中用的最多的还是requests模块,requests的代码简洁易懂,相对于臃肿的urllib模块,使用requests编写的爬虫代码将会更少,而且实现某一功能将会简单。......

2022-08-15 11:15:05 2967

原创 Win10中找不到gpedit.msc

在【win + R】中搜索gpedit.msc(组策略编辑器),显示找不到该文件。

2022-08-13 11:18:56 5732 6

原创 win10恢复注册表MMC文件夹

1.在桌面新建一个文本文档,打开文档输入以下代码。文件名后缀改为【.reg】,点击保存。5.重启后即可在注册表中找到MMC文件。3.保存类型改为【所有文件】2.点击【文件】,另存为。

2022-08-13 10:51:37 1189

原创 网络爬虫基础

网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。聚焦爬虫,如12306抢票,或专门抓取某一个(某一类)网站数据。原则上,只要是客户端(浏览器)能做的事情,爬虫都能够做。基于url地址变化、内容也随之变化的数据增量爬虫。爬虫也只能获取客户端(浏览器)所展示出来的数据。如果从响应中提取url,则继续发送请求获取响应。url地址不变、内容变化的数据增量爬虫。如果从响应中提取数据,则将数据进行保存。...

2022-08-10 10:18:27 227

原创 Django模板

一、模板使用步骤1.创建模板2.配置(设置模板查找路径)3.模板接收视图传入的数据4.模板处理数据5. 查看模板处理数据成果二、Django使用自带模板1.配置2.定义模板3.模板渲染4.模板语法4.1 模板变量4.2 模板语句4.3 注释5.过滤器6.模板继承.........

2022-08-05 08:53:25 1448 4

原创 Django视图(四)

定义一个中间件工厂函数,然后返回一个可以被调用的中间件。中间件工厂函数需要接收一个可以调用的get_response对象。返回的中间件也是一个可以被调用的对象,并且像视图一样需要接收一个request对象参数,返回一个response对象。# 此处编写的代码仅在Django第一次配置和初始化的时候执行一次。# 此处编写的代码会在每个请求处理视图前被调用。# 此处编写的代码会在每个请求处理视图之后被调用。例如,在book应用中新建一个middleware.py文件,......

2022-08-05 08:00:00 152

原创 Django视图(二)

session一个既可读又可写的类似于字典的对象,表示当前的会话,只有当Django启用会话的支持时才可用,详细内容见"状态保持"。这个属性是可写的,可以通过修改它来修改访问表单数据使用的编码,接下来对属性的任何访问将使用新的encoding值。method一个字符串,表示请求使用的HTTP方法,常用值包括'GET'、'POST'。cookie一个标准的Python字典,包含所有的cookie,键和值都为字符串。postQueryDict类型对象,类似于字典,包含post请求方式的所有参数。......

2022-08-04 08:02:26 65

原创 Django视图(三)

与cookie不同(cookie是保存在客户端)session是保存在服务端的,session依赖于cookie,在使用session后,会在cookie中存储一个sessionid的数据,每次请求时浏览器都会将这个数据发给服务器,服务器在接收到sessionid后,会根据这个值找出这个请求者的Session。在settings.py文件中,可以设置session数据的存储方式,可以保存在数据库、本地缓存等。5)删除session中的指定键及值,在存储中只删除某个键及对应的值。如下设置可以写,也可以不写,.

2022-08-04 07:59:40 118

原创 Django视图(一)

视图就是应用中views.py文件中的函数视图的第一个参数必须为HttpRequest对象,还可能包含下参数如通过正则表达式组获取的位置参数通过正则表达式组获得的关键字参数视图必须返回一个HttpResponse对象或子对象作为响应子对象视图负责接受Web请求,进行逻辑处理,返回Web响应给请求者响应内容可以是HTML内容,404错误,重定向,json数据...视图的处理过程使用视图时需要进行两步操作,两步操作不分先后在应用/views.py中定义视图应用请求信息.......

2022-08-03 06:00:00 227

原创 Django admin 站点管理

然后,在管理界面本地化时,将LANGUAGE_CODE='en-us'修改成LANGUAGE_CODE='zh-Hans',后,运行代码报错(Django的版本为3.0)是因为缺少cryptography包,可以使用pipinstallcryptography安装cryptography包,安装完成后,代码就能正常于运行。删除勾选要进行删除的数据,点击动作,选择【删除所选的图书】点击执行,即可。点击进入我们注册好的模型中,我们可以看到我们之前设置好的数据。......

2022-08-02 05:00:00 745

原创 Django模型(三)

如果获取一个对象,直接使用[0],等同于[01].get(),但是如果没有数据,[0]引发IndexError异常,[01].get()如果没有数据引发DoesNotExist异常。使用同一个查询集,第一次使用时会发生数据库的查询,然后Django会把结果缓存下来,再次使用这个查询集时会使用缓存的数据,减少了数据库的查询次数。创建查询集不会访问数据库,直到调用数据时,才会访问数据库,调用数据的情况包括迭代、序列化、与if合用。查询集,也称查询结果集、QuerySet,表示从数据库中获取的对象集合。.....

2022-08-01 08:33:22 257

原创 Django模型(二)

当我们完成数据表的迁移之后,下面就可以通过进入项目的shell,进行简单的API操作。命令,帮助我们配置好当前工程的运行环境(如连接好数据库等),以便可以直接在终端【Terminal】中执行测试python语句。方法使用模型类.objects.filter().update(),会返回受影响的行数。方法通过创建模型类对象,执行对象的save()方法保存到数据库中。方法修改模型类对象的属性,然后执行save()方法。通过模型类.objects.create()保存。通过如下命令进入shell。......

2022-07-31 05:30:00 125

原创 Django模型(一)

模型是有关数据的唯一确定的信息源。它包含要存储数据的基本字段和行为。通常,每个模型都映射到单个数据库表。每一个模型是django.db.models.Model的子类每一个模型属性代表数据表的一个字段。Django提供了自动生成的数据库访问API,使用模型操作数据库很方便Django对各种数据库提供了很好的支持,包括Django为这些数据库提供了统一的调用API。我们可以根据自己业务需求选择不同的数据库。MVT设计模式中的Model,专门负责和数据库交互.对应由于Model中内嵌了..........

2022-07-30 06:30:00 553

原创 初涉Django(创建第一个Django项目)

在【setting】中找到【Project项目名】,点击打开,【PythonInterpret】,在【PythonInterpret】路径里,找到在终端所搭建虚拟环境的路径,点击添加。将路径复制到搜索路径的边框中,若是直接复制上述的路径时,是找不到的,因为直接复制后,在路径的最后面会多出一个空格,我们将其删掉,才能显示出来路径。添加好后,若要项目能够运行,我们还需要设置Pycharm的环境,不然,程序会找不到模块。创建好,项目后,我们切换到创建的项目中,执行tree命令,即可以看到项目工程的目录。.....

2022-07-29 09:56:50 295

原创 解决Ubuntu中PyCharm无法正常输入中文

打开PyCharm,在工具栏中打开【help】,选择【EditCustomVMOptions...】在PyCharm中不能连续输入中文,输入一两个后,就变成字母,且不能再输入中文。添加完成后,关闭PyCharm,重启即可。

2022-07-28 16:09:17 804 3

原创 搭建虚拟环境(Ubuntu)

2.虚拟环境安装好后,如果提示找不到mkvirtualenv命令,须配置环境变量先切换到主目录里,创建.virtualenvs文件示例打开.bashrc文件在文件末尾,插入代码,保存退出(wq)将【whichpython】改为【whichpython3】修改前修改后修改完成后,点击保存,然后重新运行source~/.bashrc即可完成后,即可运行虚拟环境命令的操作。............

2022-07-28 07:30:00 5697

原创 Django简介

Django,发音为[`dʒæŋɡəʊ],是用python语言写的开源web开发框架,并遵循MVC设计。劳伦斯出版集团为了开发以新闻内容为主的网站,而开发出来了这个框架,于2005年7月在BSD许可证下发布。这个名称来源于比利时的爵士音乐家DjangoReinhardt,他是一个吉普赛人,主要以演奏吉它为主,还演奏过小提琴等。由于Django在近年来的迅速发展,应用越来越广泛,被著名IT开发杂志SDTimes评选为2013SDTimes100,位列"API、库和框架"分类第6位,被认为是该领域的佼佼者。..

2022-07-27 07:00:00 1524

原创 Redis的数据操作

字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。设置过期时间,以秒为单位,如果没有指定过期时间则⼀直存在,直到使⽤。索引可以是负数,表示从尾部开始计数,如。c.设置键值及过期时间,以秒为单位。索引可以是负数,表示尾部开始计数,如。删除属性,属性对应的值会被⼀起删除。删除权重在指定范围的元素。...

2022-07-26 07:00:00 1710

原创 解决Ubuntu初次安装下载较慢或网络不可达问题

因为初次安装后,我们在Ubuntu系统的终端下载的软件可能是在外国的的平台上,所以,我们下载的速度可能会很慢,也可能出现我上述的原因,WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))网络不可达,因为初次安装后,我们在Ubuntu系统的终端下载的软件可能是在外国的的平台上,所以,我们下载的速度可能会很慢,也可能出现我上述的原因,网络不可达,这时需要我们更换一下下载来源,换成我们国内的镜

2022-07-25 08:34:52 10411 6

原创 设置Ubuntu全屏

7.【sudo./vmware-install.pl】执行即可安装,按y,然后一直按enter【回车】,最后便安装完成!5.然后按【Ctrl+Alt+T】调出命令界面,然后在里面输入【tar-zxvfv】后按【Tab】键,自动补全整个工具的名字。然后按enter执行。3.在vmwaretools虚拟光盘里面,我们双击【vmware****.tar.gz】这个文件,4.复制这个【vmware****.tar.gz】文件,到【文件】--->【home】文件夹里面。...

2022-07-25 06:30:00 7028

原创 Python中的线程

在Python中,想要实现多任务除了使用进程,还可以使用线程来完成,线程是实现多任务的另外一种方式。前面我们使用线程执行的任务是没有参数的,假如我们使用线程执行的任务带有参数,如何给函数传参呢?args表示以元组的方式给执行任务传参kwargs表示以字典方式给执行任务传参。...

2022-07-24 05:30:00 162

原创 Python中的进程

在Python程序中,想要实现多任务可以使用进程来完成,进程是实现多任务的一种方式。args表示以元组的方式给执行任务传参kwargs表示以字典方式给执行任务传参。

2022-07-24 05:00:00 3360

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除