Lemon_guess-CSDN博客

原创 Django-5.请求与访问

文章目录一、HttpRequest对象HttpRequest对象:二、GET和POST请求1.form标签中的GET和POSTform表单使用get方式提交的例子form表单使用post方式提交的例子一键多值的getlist方法2.GET和POST对比三、类视图四、文件上传设置文件的存储路径文件上传form表单中文件上传视图函数五、HttpResponse对象一、HttpRequest对象HttpRequest对象:服务器接收到http协议的请求后，会根据报文创建HttpRequest对象视图函数.

2021-09-01 11:21:13 184

原创 Django-4.Model模型基础

文章目录前言一、数据库配置1.ORM概念2.模型映射关系3.数据库的配置二、模型的创建与映射1.使用Django中的模型2.将模型类映射到数据库总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、数据库配置1.ORM概念定义：对象关系映射（Object Relational Mapping,简称ORM）优势：不用直接编写SQ

2021-08-27 14:31:49 535

原创 MySQL基础入门 DAY.03

MySQL day031、约束1.1、唯一性约束（unique）唯一约束修饰的字段具有唯一性，不能重复。但可以为NULL。eg.案例：给某一列添加unique drop table if exists t_user; create table t_user( id int, username varchar(255) unique // 列级约束 );eg.案例：给两个列或者多个列添加unique drop table if exists t_user; create tab

2021-08-23 16:25:55 241

原创 MySQL基础入门 DAY.02

MySQL day021.关于查询结果集的去重？关键字 distinctmysql> select distinct job from emp;+-----------+| job |+-----------+| CLERK || SALESMAN || MANAGER || ANALYST || PRESIDENT |+-----------+mysql> select ename,distinct job from emp;以上的s

2021-08-23 16:25:41 114

原创 MySQL基础入门 DAY.01

MySQL基础入门1.SQL、DB、DBMS分别是什么，他们之间的关系？DB：DataBase（数据库，数据实际上在硬盘上以文件的形式存在）DBMS：Database Management System（数据库管理系统，常见的有：Mysql 、Oracle 、DB2…）SQL：结构化查询语言，是一门标准的语言。标准的SQL适合于所以的数据库产品。SQL属于高级语言，只要能看懂英语单词，写出来的SQL语句就可以读懂什么意思。SQL语句在执行的时候，实际上内部也会先进行编译（看不见，SQL的语

2021-08-23 16:25:15 59

原创 Django-3.templates-模板变量及模板过滤器

学习目标：十天入门Django学习内容：<font color=## 系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录学习目标：学习内容：前言一、模板路径总结二、模板变量1.模板变量使用规则注：2.默认支持的转换器(前三个用的多)3.常用的过滤器4.re_path正则匹配5.include的作用6.kwargs的作用7.name的作用——页面重定向三、常用的过滤器1在主目录下创建一个te

2021-08-21 18:54:45 468

原创 Django-2.url路由及模板渲染方式

学习目标：十天入门Django学习内容：<font color=## 系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录学习目标：学习内容：前言一、url基本概念及格式二、path和re_path1.引入库2.读入数据三、模板路径配置1.引入库四、模板渲染方式1.引入库总结前言提示：这里可以添加本文要记录的大概内容：例

2021-08-18 02:43:51 175

原创计算机网络-1.计算机网络概述

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录计算机网络概述一、计算机网络的作用二、计算机网络的定义1.网络，互联网，因特网2.计算机网络定义2.1计算机网络精确定义并未统一2.2最简单的定义：一些相互连接的、自治的计算机的集合2.3一个比较通用的定义：三、计算机网络的发展1.诞生阶段2.形成阶段3.互连互通阶段4.高速网络

2021-08-15 23:58:10 627

原创 Django-1.环境配置及远程连接启动项目

1.创建虚拟环境及安装Django查看当前哪些虚拟环境： workon创建虚拟环境： mkvirtualenv -p /usr/bin/python3 django_lee进入虚拟环境： workon django_le退出虚拟环境： deactivate删除虚拟环境： rmvirtualenv django_le安装Django ： pip install django==2.1.7 -i https://pypi.douban.com/simple查看当前python环境下第三方

2021-08-12 23:03:58 402

原创 scrapy-redis(分布式爬虫)

一、概念概念：多台机器对一个项目进行分部联合爬取。作用：增加工作单位，提升爬取效率。前提：每一台工作机器都需要scrapy的运行环境。

2021-08-02 16:50:57 994

原创 pycharm与linux（云服务器/虚拟机）远程设置

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Ubantu系统添加用户二、虚拟机配置1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、Ubantu系统添加用户示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。1）输入命令su

2021-08-02 03:36:02 574

原创 scrapy中关于POST请求的问题

首先谈一下常规情况，常规方法：#手动提交postclass LoginSpider(scrapy.Spider): name = 'login' #allowed_domains = ['www.xxx.com'] start_urls = ['https://user.qzone.qq.com/137*****0'] def start_requests(self): #手动发送post请求 yield scrapy.FormRequest(u

2021-07-29 02:13:53 494

原创 JavaScript基础

1.作用域1.1定义一个变量：var a = 1;1.2定义一个对象：var bianchma = {zhiyuan:null}1.3定义一个函数：function a(){}var b=function(){}!(function(){ })1.4全局变量因为局部变量只作用于函数内，所以不同的函数可以使用相同名称的变量。局部变量在函数开始执行时创建，函数执行完后局部变量会自动销毁。2.自执行函数——在js加载的时候就能自己运行>!(function(){ cons

2021-07-25 05:56:10 266

原创爬虫反调试

检测是否爬虫方在调试的方法：1.是否打开了F12（键盘监听）2.检测浏览器内外的高度差值（下图分别指外高和内高）3.检测开发者人员工具的变量是否为true4.利用console.log()打印某值的次数（将此方法写进代码中，打开F12的话，这个打开次数是不一样的）5.利用代码的时间差（调试打断点再运行，断点上下的代码，其运行时间就变长了）6.利用toString检测7.检测栈的层数8.检测费浏览器1.分类显性：能明确感受，页面在阻碍我们在对其进行调试1）.debugger ——

2021-07-25 00:43:26 472

原创 JS断点调试

Chrome的source调试在Source选项中新建了一个Script snippet的JS文件我们输入以下代码：function xx(){ console.log(1);}function zhiyuan(){ xx()}zhiyuan()在console中调试如下：xx.call和xx.caller,分别得到自身函数和上一级调用的函数（读上一层的栈）...

2021-07-25 00:42:59 783

原创 Chrome去除无限debugger

显性反调试分类：1.非虚拟机2.虚拟机（eval Function）一、非虚拟机1.右键设置false2.直接替换代码1.2.1谷歌内核浏览器默认提供（不是很推荐，适合简单的js文件）首先确认该js代码必须是网上在线的代码在Source选项卡中找到重写面板Overrides+Select folder for ovverrides//选一个本地文件夹是，确认证书找到该文件，文件名处右键点击，选择Save for overrides紫色圆圈状态下，说明可以进行修改了1.2.

2021-07-24 21:51:06 2876

原创 clean

# 将list转化为dataframename_pd = pd.DataFrame(name)year_pd = pd.DataFrame(year)rate_pd = pd.DataFrame(rate)director_pd = pd.DataFrame(director)scriptwriter_pd = pd.DataFrame(scriptwriter)protagonist_pd = pd.DataFrame(protagonist)genre_pd = pd.DataFrame(

2021-07-23 12:58:34 94

原创爬虫——获取cookie

没登录就产生cookie，除了分析JS代码之外，还有一个方法获取cookie直接访问网站首页地址,种方法适用于Response Headers里面有Set-Cookie值的网页response.textresponse.json()response.status_coderesponse.cookie[‘ICITYSession’]...

2021-07-17 20:10:55 274

原创 scrapy中将数据传参

def parse（self,response）: ... yield scrapy.Request（url = url,callback = self.parse_detail,meta{'page':response}）def parse_detail(self,response): page = response.meta['page'] yeild scrapy.FormRequest.form_response( page, formname = '***' formid='

2021-07-12 03:29:30 97

原创 scrapy框架中在线读取图片

在spider.py中：from io import BytesIOfrom PIL import ImageClass ... def... img_data = BytesIO(response.body) img = Image.open(image_data)

2021-07-12 03:12:26 53

原创 JS加密方式

常见加密方式：加密：前端{1.把加密的数据给后端2.JS加密3.携带正确的参数——进行加密}后端：存入数据库或者校验为了反爬，前端请求就会进行携带指定的参数，参数的值会进行加密，后端再进行校验1.MD5加密概念：线型散列算法（签名算法）加密：产生一个固定长度的十六进制的数据（32位或16位）解密：常规的说法：MD5是不存在解密的（不可解密）。理论上可以破解——暴力破解，逐个比对，轮询，但需要庞大的数据量、长时间、高性能机器。JS如何进行MD5加密？压缩文件：命名符合规范，就会有min

2021-07-09 00:41:43 1600

原创 python爬虫中字典dict/json/cookiejar相关操作

dict 和cookiejar互转import requestsresponse = requests.get(url=url, headers=headers)#获取cookieJar 对象cook=response.cookies#字典转cookiejarrequests.utils.dict_from_cookiejar(cj) #cookiejar转字典requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None,

2021-07-01 00:55:46 578

原创 HTML基础

1.什么是HTMLHTML 是用来描述网页的一种语言。HTML 指的是超文本标记语言: HyperText Markup LanguageHTML 不是一种编程语言，而是一种标记语言标记语言是一套标记标签 (markup tag)HTML 使用标记标签来描述网页HTML 文档包含了HTML 标签及文本内容HTML文档也叫做 web 页面2.HTML 标签2.1标签是什么1)HTML 标记标签通常被称为 HTML 标签 (HTML tag);2)HTML 标签是由尖括号包围的关键词通常是

2021-06-15 21:24:46 101

原创老男孩-数据分析 05 人口分析案例

需求:■导入文件，查看原始数据■将人口数据和各州简称数据进行合并■将合井的数据中重复的abbreviation列进行删除■查看存在缺失数据的列■找到有哪些state/region使得state的值为NaN, 进行去重操作■为找到的这些state/region的state项补. 上正确的值，从而去除掉state这- -列的所有NaN■合并各州面积数据areas■我们会发现area(sq.m)这-列有缺失数据，找出是哪些行■去除含有缺失数据的行■找出2010年的全民人口数据■计算各州的人

2021-06-10 02:49:35 358

原创老男孩-数据分析 04 基于pandas的数据清洗

一、数据清洗1.1有两种丢失的数据类型Nonenp.nan(NaN）)NaN是可以参与运算的import numpy as npimport pandas as pdfrom pandas import DataFrame,Seriestype(None)Out[166]: NoneTypetype(np.nan)Out[168]: floatdf = DataFrame(data=np.random.randint(0,100,size=(7,5)))df.iloc[3

2021-06-10 01:23:07 194 1

原创老男孩-数据分析03 DataFrame基础操作巩固-股票分析

需求:股票分析●使用tushare包获取某股票的历史行情数据。.●输出该股票所有收盘比开盘上涨3%以上的日期。●输出该股票所有开盘比前日收盘跌幅超过2%的日期。●假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易8卖出所有股票，到今天为止，我的收益如何?●tushare: 财经数据接口包，可以批量获取相关金融产品的历史数据pip install tushare金融分析基本面分析■宏观经济面分析:国家的财政政策、货币政策等■行业分析■公司分析:财务数据、业

2021-06-10 00:40:25 306

原创老男孩数据分析 02 pandas基础操作

为什么学习pandasnumpy已经可以帮助我们进行数值型数据的处理了，pandas还可以进行许多其他类型的数据处理（字符串等）。什么是pandas？1. 首先认识pandas中两个常用的类：Series和Dataframefrom pandas Series- 是一种类似与一维数组的对象，由两个部分组成：value：一组数据（ndarray类型）index：相关的数据索引标签Dataframe(重点)由列表或者numpy数组创建由字典创建...

2021-06-10 00:39:20 245

原创老男孩-数据分析 06 pandas高级操作

Python：出现UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xc9 in position 0: invalid continuation byte问题我在导入一个csv文件的时候出现了一个问题报错的内容是这样的：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xc9 in position 0: invalid continuation byte内容显示读取的时候发现了我导入

2021-06-10 00:15:51 404

lemonguess的博客