- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spider第四天：scrapy框架初体验
一、什么是Scrapy?Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。二、安装步骤Linux： pip3 install scrapyWindows： a....
2018-09-28 16:59:07
206
原创 Spider（三）：图片懒加载、selenium和PhantomJS、验证码处理
一、图片懒加载概念： 图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。网站一般如何实现图片懒加载技术呢？ 在网页源码中，在img标签...
2018-09-27 23:44:25
836
原创 Spider（二）：cookie和代理、正则表达式、xpath解析、xpath表达式
一、requests基于cookie操作cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie.cookie&代理案例：#实现人人网的登录操作import requests#获取session对象，通过session发起的请求，该请求中会自动携带cookieses...
2018-09-27 18:22:01
246
原创 Spider（一）：爬虫基本概念及request 模块使用
一、爬虫基本概念：1.通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。2.实现爬虫的主流编程语言及缺点：（1）PHP：对多线程、多进程的支持不好（2）Java：代码臃肿，重构成本较大（3）C/C++：是一个非常不明智的选择，学习成本高，使用难度大，很装X（4）PYTHON：几乎没有缺点！！！代码优雅，学习成本低，具有非常多的模块，并具有框架的支持：Scrapy...
2018-09-25 23:34:38
1365
原创 Django之BBS项目02
需求分析登陆功能 （基于Ajax,图片验证码） 注册功能 （基于Ajax,基于forms验证） 博客首页 个人站点 文章详情 点赞，点踩 评论 ——根评论 ——子评论 后台管理 ——文章展示 发布文章 ——富文本编辑器 ——防止xss攻击settings.py#指定上传头像的根路径MEDIA_ROOT=os.path.join(BASE_DIR,'media...
2018-09-20 16:36:30
185
原创 Django之BBS项目01
一、项目简介 制作类似博客园网站（https://www.cnblogs.com/）的基本功能二、需求分析 登陆功能 （基于Ajax,图片验证码） 注册功能 （基于Ajax,基于forms验证） 博客首页 个人站点 文章详情 点赞，点踩 评论 ——根评论 ——子评论 后台管理 ——文章展示 发布文章 ——富文本编辑器 ——防止xss攻击建表：U...
2018-09-19 16:30:10
250
转载 Django（十三）：中间件组件和auth模块
中间组件一 什么是中间件中间件顾名思义，是介于request与response处理之间的一道处理过程，相对比较轻量级，并且在全局上改变django的输入与输出。因为改变的是全局，所以需要谨慎实用，用不好会影响到性能。二 中间件有什么用如果你想修改请求，例如被传送到view中HttpRequest对象。或者你想修改view返回的HttpResponse对象，这些都可以通过中间件...
2018-09-17 23:45:07
295
转载 Django（十二）：cookie与session组件
1 会话跟踪技术什么是会话跟踪我们需要先了解一下什么是会话！可以把会话理解为客户端与服务器之间的一次会晤，在一次会晤中可能会包含多次请求和响应。例如你给10086打个电话，你就是客户端，而10086服务人员就是服务器了。从双方接通电话那一刻起，会话就开始了，到某一方挂断电话表示会话结束。在通话过程中，你会向10086发出多个请求，那么这多个请求都在一个会话中。 在Web中，客户向某一服务...
2018-09-13 21:25:16
128
原创 Django（十一）：Ajax介绍及提交文件操作
分组annotate()为调用的QuerySet中每一个对象都生成一个独立的统计值（统计方法用聚合函数）。总结 ：跨表分组查询本质就是将关联表join成一张表，再按单表的思路进行分组查询。# 分组 # 统计每一本书作者个数 from django.db.models import Count,Min,Max # ret=Book.objects.all().an...
2018-09-12 23:24:24
156
原创 Django（十）：多表操作
import osif __name__ == '__main__': os.environ.setdefault("DJANGO_SETTINGS_MODULE", "untitled2.settings") import django django.setup() from app01.models import * # 一对一新增，先创建没有外键...
2018-09-11 23:21:31
154
原创 Django（九）：模型层之单表操作及多表操作(部分知识点)
路由： 1 第一个参数，传正则表达式 '^$' 视图函数index tets/(\d+) test/2014 .... '' 404错误页面 2 无名分组：（\d+）用括号分组 3 有名分组：(?P<year>[0-9]{4}) 视图函数：year必须对应，位置可以乱 ...
2018-09-10 19:43:35
135
原创 Django（三）：Django初识
orm干了哪些事： 1 创建表，修改表，删除表 2 插入数据 3 修改数据 4 删除数据不能干：不能创建数据库映射对比：类名-----》表对象------》一条数据属性-----》字段使用mysql步骤： 0、创建数据库（orm不能创建数据库） 1、在settings里配置 2、在app的init.py...
2018-09-10 19:41:46
158
原创 Django（八）：模版层
静态文件引入的三种方式：一：<link rel="stylesheet" href="/static/dd/ss/mycss.css">二：{% load static %} <link rel="stylesheet" href="{% static 'dd/ss/mycss.css' %}"> {# 返回值：/static/d
2018-09-08 20:41:18
109
原创 Django（七）：模版层
filter{{}} 1 变量 句点符，深度查询（可以点到方法，不要加括号，只能是无参的方法） 2 过滤器 <p>date过滤器 {{ now|date:'Y-m-d:H:i:s' }}</p> <p>date过滤器 {{ now|date }}</p> 如果...
2018-09-06 20:07:27
99
原创 Django（六）：视图层
相对于Django2.0版本中的path2.x版本中的re_path与1.x版本中的url功能一样示例：urlpatterns = [ re_path('articles/(?P<year>[0-9]{4})/', year_archive), re_path('article/(?P<article_id>[a-zA-Z0-9]+)/d...
2018-09-05 21:33:35
156
原创 Django（五）：路由控制
一 Django中路由的作用本质URL配置(URLconf)就是与要为该URL调用的视图函数之间的映射表from django.conf.urls import urlurlpatterns = [ url(正则表达式, views视图函数，参数，别名),]正则表达式：一个正则表达式字符串 views视图函数：一个可调用对象，通常为一个视图函数或一个指定视图函数路径...
2018-09-04 21:05:00
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人