林梅苍-CSDN博客

原创爬虫（笔记07）/redis分布式与数据库扩展

扩展一：Redis简介Redis 一个内存数据库，通过 Key-Value 键值对的的方式存储数据。由于 Redis 的数据都存储在内存中，所以访问速度非常快，因此 Redis 大量用于缓存系统，存储热点数据，可以极大的提高网站的响应速度。（一）Redis优点(1)支持数据的持久化，通过配置可以将内存中的数据保存在磁盘中，Redis 重启以后再将数据加载到内存中；(2)支持列表，哈希，有序...

2019-10-10 19:14:19 190

原创爬虫（笔记06）/scrapy-redis（分布式）

01.分布式爬虫实现分布式爬虫实现分布式爬虫实现一、配制爬虫二、配置任务队列三、验证效果 https://www.cnblogs.com/qq631243523/p/10477665.html（原理参考博客）一、配制爬虫 1.使用scrapy新建一个爬虫项目2.把scrapy-redis包拷贝到项目中第一次讲课时，导入是为了带领学员看...

2019-10-10 18:01:57 133

原创爬虫（笔记05）/scrapy(总结)

crawlspider 简单实现crawlspider 深度（全站）爬取(1) spider.py(2)pipelines.py

2019-10-09 19:57:00 75

原创爬虫（笔记04）/mogodb 数据库

一、mongodb 基本操作与在python中如何使用它存储数据1.查看所有数据库show dbsadmin 0.000GBlocal 0.000GBtest 0.000GB2.使用或创建该数据库use testswitched to db test3.查看当前所在数据库dbtest在当前数据库创建一个集合（one）,并插入数据db.one....

2019-10-07 15:12:54 161

原创爬虫（笔记03）/梨视频—单线程+多任务异步携程（aiohttp和asyncio）

1.案例实现import requestsfrom lxml import etreeimport reimport asyncioimport aiohttpimport timeimport randomheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ...

2019-10-07 14:28:28 312

原创爬虫（笔记01）/无界面和谷歌有界面操作

一、## 标题无界面创建以及参数的配置from selenium import webdriver二、常用的基本操作1. driver.get(url) # 发起请求2. time.sleep(2) # 请求要耗时，所以让睡眠一会儿3. driver.save_screenshot(‘1.png’) # 截屏看下是否请求到页面4. response = driver.pa...

2019-10-05 11:42:19 184

原创 Django(笔记6）/(ORM)/(单表操作）

一、ORM a)ORM : 对象关系映射，提高开发效率，执行效率降低。 b)类- 表格，对象—> 记录，属性—> 字段。 c)使用orm 流程 i.在settings.py中配置数据库信息。 ii.创建数据模型（模型类） iii.生成迁移文件和同步数据库 1.python manage.py makemigrations 2.python manage.py migr...

2019-08-19 22:30:41 84

原创 Django(笔记05）/（django封装好的Form组件）的介绍与应用

一、Django 中的form组件实现了如下的功能1、生成页面可用的HTML标签2、对用户提交的数据进行校验3、保留上次输入内容（回显）二、使用form组件步骤1、导入form组件：from django import forms2、编写类继承form.Forms3、创建对象4、生成页面{{xx.as_p}}、{{xx.as_ul}}、{{xx.as_table}}三、后端代码...

2019-08-16 22:16:05 191

原创 Django(笔记4）/（url）(路由系统）

一、路由系统a)作用：用来匹配url中路径部分，匹配成功则执行对应的视图函数，否则404找不到页面。b)path(‘index/’) ，完全匹配。c)使用正则表达式匹配（模糊匹配） —> re_path(正则表达式)i.re_path(r‘1+/$’) r：元字符，防止正则表达式的转义。 ^:表示正则表达式开始， $ 表示正则表达式的结束。ii.django 1.xxx 版本...

2019-08-15 09:00:44 110

原创 Django(笔记3）/（分页操作）

一、分页的模块导入from django.core.paginator import Paginator二、Paginator基本属性的使用 def fy_test(request): book_list = models.Book.objects.all() #获取所有图书对象 paginator = Paginator(book_list,5) #创建Pag...

2019-08-14 21:37:17 166

原创 Django(笔记02）/模板系统（模板语言）

一、模板系统（模板语言）1、变量i.使用{{变量名称}}ii.后台传递内容 render(request,’index.html’,{‘变量名称’:value})iii.点（.）的使用1.后台传递的是字典类型的数据 {‘usrifno’:{‘name’:’zs’,’age’:18}} {{usrinfo.name}} {{usrinfo.age}}2.后台传递的是列表类型的数据 {‘...

2019-08-12 22:44:19 71

原创一、mysql安装与介绍

一、mysql安装与介绍（一）概念介绍数据库:存储数据的仓库。对数据进行存储，并且提供增、删、改、查的数据操作。数据库建模：使用数据库来表达业务和业务的关系，数据建模成功与否决定了项目的成败。业务逻辑：实体业务之间的关系，比如:养殖场，猪和饲养员的关系。事务：事务：是作为一个单元的一组有序的数据库操作，如果组当中所有操作都成功，则事务执行成功，如果有一个操作执行失败，则事务执行失败，...

2019-08-11 20:49:55 107

原创 Django(笔记01）

一、web介绍a)web前端开发b)web 后端开发（后台开发）二、软件开发架构a)C/S ( Clinet / Server) 客户端服务端，b)B/S（Browser/Server）浏览器，服务端三、URL 介绍a)URL : 统一资源定位符（网址）b)组成：9，c)http://www.baidu.com:80 /s/?wk=今日新鲜事&xxx==xxxi.请求...

2019-08-11 20:47:25 72

linmeicang的博客