- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2020/03/30 01-XPath概念和实例
之前的爬取用一些简单的库就可以完成了，其实就是一个http请求得到一个response，然后对响应内容进行处理，响应的内容其实就是文本，http协议都是基于文本完成的，对文本完成分析，最简单方式就是正则表达式，但是在正则表达式有局限，（搞成html的解析器，按树型解析）xml和html有相似之处，都是标签语言，这些标签之前是用树形结构来组织的，有父标签，有子标签。html是来解决格式的问题的，...
2020-03-31 21:59:30
366
原创 2020/03/29 03-urllib3和requests库使用
知道了，get，post，json请求返回来是什么样子，现在能用的方法就是get和post两种，对什么发起请求，返回的类型不知道，别人发的是http请求，但是返回来是application/json，是用json返回的。https有些地方会出现问题，但是目前来看已经不是问题了以前12306就是自建的CA，提示会不安全**其实计算机系统有一些内置的证书颁发者，所以有些网站的CA才是可信的，...
2020-03-30 17:02:11
705
原创 2019/05/31 反向代理调度算法
刚才在fastcgi启用了一些设置，比如Ping，pong之类的也可以利用fastcgi的status这样的地址来进行访问查看状态，进程信息等若干内容，在前端的nginx服务器上去加载响应的配置才能得到相应的状态信息*~代表正则表达式匹配，发送ping或是status就转发到后端服务器上找不到是因为之前把配置文件进行修改了，把之前加的删除修改php设置路径修改一下ngi...
2020-03-30 09:13:33
169
原创 2020/03/29 02-urllib库使用
urllib能用的无非就是请求，请求方法，urlopenurlopen打开一个网站，看到返回的response，实际上是httpresponse，本质是个类文件对象，fileno，支持上下文仔细看看这个类不管怎么访问，http是基于tcp协议的，底层一定会有socket通信，不然不能连接到url对应的网站建立通信，类文件对象是看到它了，带个b是二进制的，read出来的都是二进制的，...
2020-03-29 21:55:23
319
原创 2020/03/28 01-爬虫概述、Robots协议
爬虫就是做数据采集的，互联网的网站内容多了，就需要采集，就有了爬虫。一般叫网络蜘蛛，网络机器人，spider。百度这样的搜索引擎就是网络爬虫的应用者，最早的实践者。早期的雅虎是做信息收集，不是采集（将大家的网站分类，类似国内的hao123，给网站归类），但是大家对感兴趣的内容才是最直接的。把网站内容提取出来，用一个综合网站就能找到各个网站关键字内容，这就是现在的搜索引擎。所以雅虎就从归类的网站变...
2020-03-29 01:06:56
640
原创 2020/03/25 06-博客项目部署和MVC
分页还有点问题，pagination改变不会带动地址栏改变（可以把查询字符串变成一种在内部记录的一种变量，这个内部记录 的变量塞入到某一个值里去，当每次点击按钮的时候，把值提交过去，可以用post将这两个值放在body里传）只要按钮一提交拦截这个方法就行在list里，这是每项显示数据的地方，onchange的时候完全可以从内部记录两个变量，每次change的时候变化就行pagesize其实...
2020-03-28 01:02:53
213
原创 2019/05/31 反向代理fastcgi
实现反向代理，后端的web服务器看到的请求是来自nginx代理服务器的，这样在后期的分析日志，客户端的地址是看不到的，可以在数据报文头部的添加一个头第一行，首部行（可以添加一个新的报文头部实体行这就是发送的请求报文的头部响应报文头部nginx反向代理服务器把客户端的地址添加到请求报文头部加载的log_format的格式不仅需要把请求报文的格式加进去，还需要修改日志格式...
2020-03-27 09:32:09
98
原创 2019/05/30 实现反向代理动静分离负载均衡
referer是个防盗链的功能（一个页面，里面的内容来自于别的网站，利用别的网站来为你的网站提供服务搭建两个网站现在编写一个盗链的页面找一个图片这个页面时放在B的网站上A去盗链应该是盗链成功显然这个文件应该来自于b.com,无形中a.com调用了b.com用referer模块就可以避免盗链，有效访问，referer就是从哪个页面跳转过来的意思可以通过v...
2020-03-26 09:05:19
131
原创 2020/03/24 05-分页和详情页实现
分页功能如果到官网上看实在是很麻烦，看不到分页功能，只能看到一个paginationpagination可以写一个布尔值，可以写一个对象，设置成false在表格中不显示了position只是个定位的东西也就是在这里选一个合理的要在list里就不能这么写了在组件list继续写，header，footer，borderd，datasource数据源，renderitem怎么去...
2020-03-25 21:33:36
607
原创 2019/05/26 nginx实现https和rewrite
如何再nginx中实现SSL加密要实现https，在apache中，还有ftps都需要有证书这个模块用到的各种指令ssl指令就是是否启用加密，on，off可以放在http，server这个块中进行加密在1，15版本中过时了，要使用，就直接在listen中加上ssl1.12版本但是考虑到以后不用了，这次也不使用了用listen指令来代替listen+ssl，意味，监听的...
2020-03-25 09:20:32
305
原创 2020/03/22 03-博文发布功能实现
博客要完成的相关的功能：发布页，采用post方法提交到后台，应该用/post/pub，只不过我们做api代理转发，要提交title,content，返回json，json里返回postid。下面是/post/id，get方法，返回对应id的文章，有就返回，没有就想办法判断，处理404。如果直接对/post/发送请求，相当于getall第一个写pub这块pub主要是提交，返回成功了还是失...
2020-03-22 20:34:52
617
原创 2020/03/21 02-导航栏布局和博文发布
看看antdesign有没有导航菜单借用，现在的导航栏太丑手风琴愿意用就用，不过后端管理用手风琴的样式更多一点每一块有show code照着抄就行改变样式，只要把开关调一下就好了要用的话大概写法是这样子的这些都是属性，菜单项，还有子菜单应该怎么写都很清楚要图标就把这两个东西抄一下改首页当时我们的index并不是很好，这些都是可视化组件，应该放在component里...
2020-03-22 13:43:50
397
原创 2020/03/19 01-注册功能实现和高阶组件装饰器
现在需要完成用户的注册，和登录有点像，都是发起post请求到后端，后端进行处理，一旦登录成功后，后端返回一个信息。、之前的注册成功发送这个其实这里可以调用gen_token发送token回来，是不可更改的id看一下就要知道在哪个文件当中如果要实现用户注册的功能该如何去写，注册页在这，从这里下手或者service下手都是差不多的登录采用这种方案抄一下下面需要解决的是要提交什...
2020-03-20 21:49:14
300
原创 2019/05/29 nginx企业应用配置03
默认情况下，从nginx网站下载内容是不限速的，每秒传输多少字节为单位限定客户都安使用哪些请求方法-I 选项就是head指令，一般只用于测试使用一般使用put，post，get多options是探测对方网站支持哪些方法，比如探测一下，a.com网站看起来nginx是不支持options的下载一下apache这样就可以查看支持哪些方法了nginx默认不支持optio...
2020-03-20 09:08:01
90
原创 2020/03/18 04-Mobx使用和localstore持久化技术
同步异步理解怎么互相调用，以及调用之后产生什么效果，同步异步都是要结果，只不过异步拿到一个中间结果，但是这个结果要不要随你，目的就是用户名密码提交了，验证完后灯结果到底成功不成功告诉他。在service里实现了一个login ，在login里做了各种处理。同步函数就相当于在这里卡着了，这个时候就需要用到异步，现在的主要实现方式是promise，其他异步方案（setinterval，settim...
2020-03-19 16:50:18
1900
1
原创 2019/05/29 nginx企业应用配置02
location里面可以定义URL路径，当访问某个URL路径的时候转发到磁盘上某一个路径上面如果不定义location，访问的话就是访问定义的root根目录下的文件但是也可以针对特定的url来实现相应的磁盘路径，可以用alias就是把这个url起个别名，让这个url指向另外的当访问bbs，其实是访问web/forum下的文件如果是root，就会有所区别修改配置文件创建...
2020-03-19 09:04:46
82
原创 2020/03/17 03-登录接口实现和同步异步调用详解
安装一定要看到安装的结尾，最后告诉你多少个包安装了，才叫完成，所以npm install/npm i/yarn，都需要安装完成，不然有些包没安装，启动服务就会报错，因为启动的时候包不加载就会出错，必须安装完包。**调试的时候，控制台如果出现错误就要思考怎么引起的,控制台是运行时的错误 **gitbash是按语法检验是否是对的，只要没有语法错误，都可以编译成功这个窗口必须要看，inlin...
2020-03-18 17:25:45
1348
原创 2020/03/16 02-前端路由和登录、注册组件实现
前端开发可以使用传统的jQuery方式，如果用现在的前端开发，往往用nodejs，然后做前后端开发，或者只做前端开发，纯做后端也行，nodejs现在已经通吃了现在做前后端分离，后端用django来做，前后端分离不在乎用什么来做，只要给http接口即可，这样就是前后端独立开发各自的，项目就可以并行起来。对于前端开发来讲，现在不是传统的方式，用react开发有它的好处。，用了前端的mvc，或者各种...
2020-03-17 17:25:12
1559
原创 2019/05/28 nginx基本配置
官方网站nginx的组成部分以及特性早期的nginx的模块是静态编译，后面的是支持动态编译不需要停机就可以升级，如果已经有人链接就用旧的服务进程提高服务，当旧的用户访问结束，逐步替换掉旧进程event-driven 时间驱动，aio异步IO,mmap内存映射,sendfile(讲apache的时候讲过）nginx是静态服务器，要想当php程序的服务器，做不了，要想运行php，就需要安...
2020-03-17 09:05:27
120
原创 2020/03/14 01-jQuery
前端技术，html+css+js，这几个随着版本的更迭，但是浏览器的兼容也是比较差 的，还有浏览器的bug都非常难搞，所以我们需要一套东西来解决，当年的一个JS库，jQuery库和jQuery库合作的插件，少则都有几万，估计有几十万。传统开发说实话用用jQuery也就够了，因为规模不大。jQuery是个基础，将你和底层的简单交互全部封装，跟样式的操作，跟dom树的操作以及跟ajax的操作全部做...
2020-03-16 21:19:16
385
原创 2019/05/27 IO复用模型原理
内核级功能,i/oprefork，两级结构，一个主进程开启若干个子进程，每个子进程来响应用户请求worker是三级结构，主进程生成若干子进程，子进程生成多个线程，每个线程来响应用户请求event是以worker类似，只不过增加了一个监控线程，来回收没有人访问的线程apache再并发达到过万的时候，性能就受到影响nginx可以达到3万的并发，为什么性能好，就是一位内io模型来决定的...
2020-03-16 09:02:41
112
原创 2020/03/14 05-CSS
布局的事情交给美工，那你只需要辅助即可，告诉你这块布局准备做什么，业务上有什么功能，多少行，做下交流，高度宽度，交流之后模你开发你的功能，美工自己做自己的，各自开发各自的，美工做好前端页面，你用django套用这个模版，或者做好所谓的模版，用js，后端纯数据，前后端完全分离，就靠ajax返回json互相通信。模版可以卸载django中，所以需要懂一些CSS，如果做爬虫就也需要懂css叫层叠样式...
2020-03-14 21:02:19
351
原创 2020/03/12 04-分页实现和校验函数抽象
getall如果实现，是拿到所有的还是从post上拿下面要做的事情就是迭代了，post表里是没有content，而要的所有数据是在post表中，比如说title，author，postdate，文章列表页，一把不显示文章内容，只显示列表，甚至只要title就够了，实际上还需要有title对应的postid，这两个结合在一起才能形成一个链接，title给人看，id是给编程用的我们查数据需...
2020-03-14 00:39:53
258
原创 2020/03/11 03-pub和get接口实现
在开发中做前后端分离应该把接口分开，不做分开，就是需要有模板，别人打开模板所对应的页面后，能在浏览器看到相应的内容。前后端分离，我们之间传的只是数据，所以后端写的程序，只需要靠postman这样的一些测试端，发起对接口的请求，看到数据即可，这些接口基本上是增删改查，只不过查有些不同（查有些不同，有详情页和列表页）用restful风格来设计的话，应该对应不同的方法，常用的有post，delet...
2020-03-12 22:49:18
498
原创 2020/03/11 02-博文接口、Model类实现和迁移、URL配置
前面已经把最主要的业务完成了，把后端django的做完，就可以做前端的事情了，现在暴露的全是接口，像现在做的功能接口设计，这个就是restful风格接口设计，将这样的接口暴露给前端，让他们去调用，前段实际上是通过接口来调用你的模拟服务器，没有真正查数据库数据，就是写好的测试数据，一调用出结果，就是假数据，一测试OK，这个接口前端也就写好了‘作为后端的话好说，可以用postman自己构造数据，然后...
2020-03-11 21:41:13
118
原创 2020/03/09 01-Django认证、中间件和jwt过期
用户功能核心的能力就是注册，登录之后就可以管理博客了，先把这两个实现了，再实现和博客相关的功能。用户注册开始就使用了restful风格的设计，restful风格是一个理论上的东西，但是有一个实践，要定义每一个请求用了什么样的方法，大多数提交数据都用了post，提交到哪里，就需要告诉ur，还需要告诉之间用了什么数据，比如提交的数据是json的json的样子是什么都需要告诉这里使用多级的方式...
2020-03-11 17:24:57
745
1
原创 2020/03/09 06-登录功能实现和认证装饰器2
打印一下meta信息 send下面一堆就是meta看一下这个meta类型是字典类型，就可以用字典调用里面的东西可以这样把key都拿到也可以用map，转换成小写发送是空的，那么改成endswith试试就是这个名字通过这个key就可以拿到这个值了不想报错可以用get，明确告诉你，找不到就返回none这样就那到了对方的认证信息打印一下token是否是...
2020-03-09 21:57:43
239
原创 2020/03/08 05-登录功能实现和认证装饰器1
注册完了就是为了登录，session，cookie，jwt都不能最终及解决安全问题，csrf-token是用来解决一些伪装的问题，jwt和cookie是解决状态的问题，不是安全的问题，jwt是改了可以知道，cookie改了不知道，jwt可以在服务器端不存session。但不能解决身份伪装的问题用户名和密码提交，我们进行验证，验证通过即可登录，密码的安全，最好不要在客户端加密，相当于暴露自己的秘钥...
2020-03-09 11:40:41
161
原创 2020/03/06 04-密码安全问题和登录接口实现
数据库一般加密方式都是md5，现在md5也非常的不安全了，MD5有大量的人计算，生成了一张表，这张表称为彩虹表，MD5其实可以用更少的位数碰撞来破解可以在密码和盐算出一个MD5，但是很容易测，因为无非就是前面加盐后面加盐，所以盐加了跟没加一样，这样的做法是固定的加盐，一旦被攻破两个，这个防御基本等于没设置。试试不规定盐的位置和值现在计算机性能足够强，只要能用包里破解的方式，把所有的值建一张...
2020-03-08 17:04:26
542
原创 2020/03/05 03-查询表达式、Session-Cookie机制、JWT
模型操作也就是model类提供的操作能力，一般操作苏剧无非就是增删改查，CRUD，要学会再django中如何操作，提供了一个orm，这个orm提供了操作的东西，叫管理器对象，管理器对象是一个很特别的类，不能直接调用，这个实例是捆绑在model对象上的。自己创建可以替换，也可以多替换几个orm的操作就是将增删改查所有的方法操作换成sql语句，这个语句是交给orm来做的，orm更在乎对象和关系，...
2020-03-06 21:32:47
359
原创 2020/03/04 02-查询集切片过滤器
每一个业务可以剖析成不同的功能，这些功能都是和数据相关的，所有的功能都离不开数据往往这些数据都需要持久化，这就数据就要进入数据库，要进行增删改查，有了orm这种框架，增删改查变成了对对象的操作。一般现在都用orm，但是sql语句很重要，所以我们在执行的时候配置成可以看到sql语句。也可以在modle类对象上，调用查询集的query方法，也可以看到执行的sql语句，最清楚的还是打印日志。一启动其...
2020-03-05 14:17:26
172
原创 2020/03/03 01-模板打印九九方阵和自定义filter
企业中可能模版使用多，前后端分离的少，用模板就是为了套用格式，做数据的呈现。但是数据有可能不是一行，从数据库查出来可能有几行，7，8列。一般用ul列表，table显示。div一般作为布局现在想要打印9*9=81个小格子，把内容填进去，然后用html的table展示方法1，由视图函数提供数据，不要把复杂的操作交给模板，建议再提供数据前将复杂操作在python中搞定，在模板里填结果用什么数据...
2020-03-04 17:11:33
422
原创 2020/03/03 05-邮箱验证和日志配置
上一章是业务如何前后端分离，配置多级路由，如何去写一个view函数，因为采用了前后端分离，数据在http下，最好的表达方式就是json了，想办法把用户里的请求数据提取到，用json返回回去。前端的很多库都可以 用ajsx，将json数据通过请求发过来，也可以将自己处理好的数据通过json发回去，也就是request是json，response也是json。格式是前端的事情，我们玩的就是数据...
2020-03-03 21:13:23
442
原创 2020/03/01 04-模板习题和注册功能基本实现
模版用的还是比较多的，企业不可能全部做前后端分离，html标签和服务器端代码混写，应该把数据准备好，让模版做更少的操作。没必要过滤器来炫技，要什么数据准备什么数据即可，尽量少做操作第一步先应该在settings里将模版的搜索目录填好下面要把项目运行起来，让他能够做url映射，必须配置路由文件，一开始我们配的是blog下的，urls，全局的每个请求应该单独调用对应的handler，不可...
2020-03-03 14:56:17
2315
原创 2020/03/01 03-Django模板DTL使用
模板技术本质上就是静态的html，为了让里面的内容可以动态变化，把里面变成一些填空题，然后准备一下数据，通过特殊手段传进去，这样就可以通过问系统加载到模板，把里面的内容填充好。在python中需要把这些写好的模板放在一个特殊的目录中，这就是模板目录写个dirs，将这个目录作为整个模板的搜索路径，但是搜索完整个目录还搜索其他吗，就看你要不要用app_dirs了，如果写了，就会到你已经注册的应用...
2020-03-01 21:33:10
383
原创 2020/02/28 02-GET和POST调试、模板原理
模板技术是做BS开发绕不掉的，response给用户是一个凑好的html，但是真的要凑一个html太麻烦了。网页中其实只有一小部分内容是从数据库里找出来的，只要把模板凑好，把这一小部分替换掉就成了postman是前端众多调试工具中的一个，如果restful风格的接口开发的时候，往往接口需要调试，这一次采用的前后端分离，调用接口全是restfu风格。用restful风格的接口暴露，来让别人调用...
2020-03-01 15:06:51
449
商业银行-总行.xls
2020-04-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人