自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(48)
  • 收藏
  • 关注

原创 1.创建Django项目

语句:django-admin startproject mysite项目启动:创建一个新app文件 python manage.py startapp index 创建数据库,再Navicat中创建新数据库在setting.py文件中导入该代码创建与数据库关联的模型层:在Setting.py 中 INSTALLED_APPS 写入 模型层的上级文件 ‘index’在 index/models.py文件中加入使用语句 python manage.py makemigrations,查看与数据库的差别

2022-07-06 09:24:53 232 1

原创 虚拟机的创建

文件 ——> 新建虚拟机,选择自定义下一步选择稍后安装操作系统;选择客户机操作系统 Linux版本选择 Centos 7 64位更改虚拟机名称更改虚拟机安装位置根据自己电脑实际情况分选择2G使用NAT网络下一步下一步选择创建新虚拟磁盘下一步下一步,在刚才创建虚拟机的文件夹内创建desk文件夹将虚拟机文件放入内部下一步,完成即可找到下载的ISO镜像之后开启虚拟机,选择Install CentOS 7选择English选择时间 Asi ->

2022-06-29 12:01:08 3823

原创 Scrapy-Center——spa7,spa10,spa11,spa12分析

F12检查页面检查页面源码:可以发现页面源码中没有数据,为保险期间转向Network查看;确认数据来源,是从接口调出,还是从其他地方;Preview概要:该反馈Response就是页面的源码;还是没有找到头绪,未经过接口调用数据;解决方法:查找一些不常见的命名:比如该项目中的weight全局搜索该命名:成功找到数据来源,在main.js中;从该处调出数据即可JJencode加密:该加密最大的特点就是有$,+,“”, \, {}符号AAencode加密:该加密最大的特点是由

2022-06-25 15:29:08 842

原创 Scrapy--Pyppeteer爬取加密网站01

F12 检查页面 ——> 点击network,切换页面,发现加载出部分数据,点击第一条数据查看headersRequest URL:https://spa6.scrape.center/api/movie?limit=10&offset=10&token=MjEzMmE3MTIxOTdjNzEzNWQyMzc5OWVmN2U1MjYxNGYxZmRkNWM0ZSwxNjU1ODYwOTEw这一串为加密字符:token=MjEzMmE3MTIxOTdjNzEzNWQyMzc5OWVmN2U1MjYxN

2022-06-22 21:09:55 1117

原创 Pandas-DataFrame使用

有两种创建方法:DataFrame是多维数据所以要使用字典Dict进行创建默认索引创建:字典中 带索引的创建:字典中默认索引创建:行索引从0开始带索引的创建:默认索引也可以更改索引,达到同样的效果1.1 给DataFrame添加数据如下添加一个’status’列索引,并往索引里赋值;数据需要时一个与原DataFrame行索引长度相同的[list]举例:再用列表添加一个行索引:所需要删除列索引,则使用语句:行索引起名:列索引起名:行索引判断:‘name’ 列索引判断:‘na

2022-06-06 22:07:21 791

原创 Pandas--Series使用

语法:参数一:dypte = np.数据类型举例:pd.Series(obj, )参数二:name = 命名;默认为None举例:pd.Series(obj, )参数三:index = [list];将Series数据进行排序,默认为从0开始举例:pd.Series(obj, )用字典构建Series数据,字典的键就是Series的索索引index语法:举例:1.1 查看Series数据查看Series的键(index):RangeIndex(start=0, stop=5, step

2022-06-06 18:57:23 672

原创 Numpy-进阶函数使用

X, Y = np.meshgrid(x, y) 代表的是将x中每一个数据和y中每一个数据组合生成很多点,然后将这些点的x坐标放入到X中,y坐标放入Y中,并且相应位置是对应的两者组合:经过:X, Y = 2.where()np.where有两种用法:举例:3.sort()将数组(矩阵)中的数据进行排序,默认是进行行排序行排序:列排序:举例:行排序:列排序:4. unique()去除数组中重复的数字,并进行排序后输出语法:举例:...

2022-06-06 18:12:29 182

原创 数据分析——Numpy库数组的常规使用

目录1.Numpy1.1数组创建注:本博客是在Jupyter Notebook中进行演示1.Numpy1.1数组创建

2022-05-27 02:11:54 126

原创 Jupyter Notebook使用——01更改目录

目录1.Jupyter安装2.Jupyter的使用2.1 更改Jupyter打开时的默认目录1.Jupyter安装在有Python环境的基础上进行安装语法:pip install jupyter升级语法:pip install -U jupyter2.Jupyter的使用Jupyter启动:jupyter notebook使用该语句后会直接在浏览器中打开Jupyter界面也可以在浏览器中输入:127.0.0.1:8888打开创建在Jupyter中使用的Python文件进入该界面后即

2022-05-25 01:38:37 4099

原创 Fiddler的使用

1.设置断点–更改登录数据测试网站:https://antispider7.scrape.center/语法:bpu 测试链接进入目标网页:按照正常登录模式先登录,找出登陆后的API用户名:admin1密码:admin1在Fiddler中TextView可以查看刚才输入的数据在Row中可以发现请求发送的网站在该请求网站设置断点:bpu https://antispider7.scrape.center/api/login HTTP/1.1之后用错误的用户名和密码登录观察到请求

2022-04-26 22:19:26 698

原创 Scrapy遇见问题总结

问题总结

2022-04-15 22:07:12 1159

原创 Pyppeteer的使用——爬取京东

1.Pyppeteer优势不用像Selenium一样配置浏览器环境Pyppeteer加载的text()是加载完成后的HTML页面,所有数据调出:Request查看的是网页源码,内部可能有JS的调用代码不全:

2022-04-14 01:51:56 1065

原创 Scrapyd的安装和Gerapy的部署

Scrapyd和Gerapy

2022-04-13 21:43:30 730

原创 Scrapy爬取4-项目分布式和gerapy部署

Scrapy项目部署

2022-04-13 14:14:30 1709

原创 Scrapy爬取3-数据存入数据库

Scrapy数据入库

2022-04-13 11:22:36 1115

原创 Scrapy爬取2-接口爬取

Scrapy爬取Ajax接口

2022-04-13 10:04:23 1946

原创 Scrapy爬取1——接口数据爬取准备

Scrapy爬取接口数据

2022-04-13 01:15:39 2797

原创 爬虫分布式--调度器

分布式

2022-04-11 11:33:41 764 1

原创 付费代理IP——Redis数据库的使用01

1.Redis初尝试:

2022-03-25 00:15:27 4318

原创 付费代理IP——Redis数据库的安装

Redis安装

2022-03-24 02:09:43 857

原创 付费代理IP1--基础解释

付费代理IP

2022-03-24 01:37:09 739

原创 Scrapy基本框架

Scrapy框架介绍

2022-03-20 17:36:11 758

原创 正则表达式02——进阶

正则表达式入门练习网站:https://www.codejiaonang.com/#/course/regex_chapter1/0/0正则表达式进阶练习网站:https://www.codejiaonang.com/#/course/regex_chapter2/0/01.正则表达式

2022-03-13 02:21:46 274

原创 正则表达式01——入门

F12-打开网页源码界面1.正则表达式的使用限定符符号作用例子??前面的字符需要出现 0 次或 1 次**前面的字符需要出现 0 次或 多 次b可出现也可以不出现++前面的字符需要出现1次以上 b出现1次以上{}规定{}前字符出现的次数b出现2-6次匹配多个字符的重复:()...

2022-03-10 22:19:27 168

原创 Django的使用--制作第一个应用

独立应用的制作1.编写多个视图:1.编写多个视图:在polls应用中添加更多视图:在polls/views.py里添加更多视图,添加一些接收参数的视图添加了detail,results,vote,这些视图调用时都需要在浏览器url加一个question_id参数polls/views.py中from django.http import HttpResponsedef detail(request, question_id): return HttpResponse("You're loo

2021-09-23 20:47:33 110

原创 Django的使用--Django管理界面

Django管理界面的使用1.创建管理员账户2.启动开发服务器,查看管理界面3.在管理界面更改对象数据同步到本地数据库:1.创建管理员账户在Django项目的文件夹目录下,输入以下语句:python manage.py createsuperuser之后会进入超级用户设置:Username (leave blank to use '56213'): adminEmail address: [email protected] # 邮箱地址随便输入Password:***********Pass

2021-09-22 18:33:21 1066

原创 Django的使用--MySql数据库

Django中MySql的使用1.配置Django中MySql2.创建数据库模型1.配置Django中MySql提前在MySql数据库中创建要进行测试的新数据库testDjango中默认使用SQLite作为默认数据库,要使用其他数据库需要更改mysite/setting.py中的DATABASES配置在项目mysite中找到配置文件setting.py更改配置文件中的DATABASE;原本的SQLite数据库配置:DATABASES = { 'default': { 'ENGIN

2021-09-22 16:31:33 751

原创 Django的使用--初次创建视图views

Django的基本使用1.安装Django2.创建Django项目3.创建Django应用4.编写视图1.安装Django前提本地已经安装了python环境pip install django检查是否安装Django:python -m django --version3.2.7 若生成版本号,则证明已经安装了,此版本的Django;若得到错误提示No module named django则证明未安装2.创建Django项目CMD(终端terminal)中找到你想创建Django项

2021-09-18 22:53:18 1155

原创 Python学习--函数基础

Python函数学习

2021-09-15 19:00:31 114

原创 Python--正则表达式02

Python--正则表达式函数match的使用语法:re.match(参数一pattern, 参数二string, 参数三flag)参数作用参数一正则表达式参数二字符串参数三切换匹配的模式re.match是返回一个匹配的对象,若未匹配则返回None下(不会像re.compile那样可以匹配多个,你必须一个个把想要的数据输入,并匹配)分组:使用match之后得到的是一个结果是一个分组参数作用groups()得到一个满足匹配对象的

2021-09-01 21:31:14 71

原创 Python--正则表达式01

Python正则表达式1.re模块1.re模块需要先导入re模块import re使用正则表达式:demo1 = re.compile('[0-9]+?')demo2 = re.compile('^[0-9]+?$')test1 = demo1.findall(strs) # strs为要查找的字符串test2 = demo2.findall(strs) demo1和demo2的唯一差距就是 ^ 与 $,^代表起始位置,$代表结束位置举例说明:strs = '123456ab

2021-09-01 18:57:15 228

原创 Linux07--计划任务

计划任务

2021-08-13 17:40:11 72

原创 Docker学习

Docker

2021-08-13 16:15:09 66

原创 Linux学习06--进程

Linux学习06--进程1.子进程与父进程2.工作管理(job control)**直接将指令丢到背景中执行的** `&`将『目前』的工作丢到背景中『暂停』:[ctrl]-z3.相关命令程序 (program):通常为 binary program ,放置在储存媒体中 (如硬盘、光盘、软盘、磁带等), 为实体文件的型态存在;进程 (process):程序被触发后,执行者的权限与属性、程序的程序代码与所需数据等都会被加载内存中, 操作系统并给予这个内存内的单元一个标识符 (PID),可以说,进

2021-08-10 23:48:25 320

原创 Shell学习05--Shell输入和输出重定向

Shell输入和输出重定向1.Linux的输出重定向2.Linux的输入重定向输入:一般都是从键盘读取用户输入的数据,然后再把数据拿到程序中使用(标准输入方向)键盘 ——>程序输出:反过来程序也会产生数据,这些数据直接呈现到显示器上(标准输出方向)程序——>显示器输入方向:数据从哪里走向程序。默认从键盘到程序,如果改变了它的方向则为输入重定向输出方向:数据从程序走向哪里。默认从程序到键盘,如果改变了它的方向则为输出重定向文件描述符文件名类型硬件0std

2021-08-06 16:40:11 118

原创 Shell学习04--流程控制和函数使用

流程控制和函数使用1.流程控制if-elif-elsefor循环while循环和until循环case ... esac循环跳出循环2.函数的使用1.流程控制if-elif-else语法:if conditionthen command1 command2 ... commandN else commandM fiif … (开头判断)then(开始输入)…elif…(二次判断)then(二次开始输入)…else…fi(finish结束

2021-08-06 15:18:43 77

原创 Shell学习03--echo命令,printf命令,test命令

Shell的命令1.Shell--echo命令2.Shell--printf命令3.Shell--test命令1.Shell–echo命令语法:echo [-option] 字符串(String)显示普通字符串例子:echo "This is Bunny's test"echo This is Bunny's test双引号可以省略,实现效果与上方一致echo的参数:-n 不要在最后换行-e 显示转义字符-E不显示转义字符(默认)\a 发出警告声;\b 删除前一个字符;\

2021-08-06 13:27:33 405

原创 Shell学习02--基本运算符和命令

Shell学习02--基本运算符和命令1.Shell运算符1.Shell运算符算数运算符关系运算符布尔运算符字符串运算符文件测试运算符注意:bash不支持简单的数学计算,只能通过命令实现命令:expr和awk,expr常用...

2021-08-06 12:01:32 68

原创 Shell学习01--创建与变量使用

Shell学习011.创建一个Shell脚本2.Shell变量2.1 使用变量Shell:是一个C语言编写的程序,是用户使用Linux的桥梁。Shell是一种命令语言,又是一种程序设计语言。Shell脚本(Shell Script):一种为Shell编写的脚本程序业界所说的Shell都是Shell脚本,Shell编程就是脚本编程以下为Linux系统中编写Shell脚本1.创建一个Shell脚本使用vi命令来创建文件,扩展名为.sh(.Shell),扩展名并不影响脚本执行运行Shell脚本的两种

2021-08-05 21:55:06 1123

原创 搭建Git服务器

搭建Git服务器1.准备环境1. 安装git2. 创建一个git用户(也可以自己取名)3. 创建证书登录:4.初始化git仓库:5.禁用Shell登录6.克隆远程仓库1.准备环境搭建Git服务器需要一台准备了Linux系统的机器(虚拟机或阿里云服务器等等)强烈推荐使用Ubuntu,CentOS在root(管理员用户)的环境下,正式开始安装:注:以下都是在root账户下进行1. 安装git`yum install git`安装完成之后可以使用 `git`查看[root@admin Shel

2021-07-30 18:12:28 275

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除