- 博客(30)
- 收藏
- 关注
RSS订阅原创 爬取豆瓣电影并使用增量爬虫保存到MongoDB中
注：仅用于技术学习知道数量来源了，就可以爬了import requestsimport jsonimport timeimport pymongoimport hashlib#加密def get_md5(value): md5 = hashlib.md5() md5.update(value.encode()) return md5.hexdigest(...
2019-12-03 19:17:14
486
1
原创 闭包、装饰器
闭包：如何定义一个闭包？闭包函数必须有内嵌函数内嵌函数必须要引用外层函数的变量闭包函数返回内嵌函数的地址（函数名称）作用：在不修改源码 的情况下增加功能创建一个闭包函数：def func(): name = 'zs' def inner(): print(name) return innerf = func()f()#zs判断闭包函...
2019-11-27 21:47:45
549
原创 生成器（generator）
生成器：通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。什么是生成器？一...
2019-11-27 16:20:53
340
原创 迭代器
标题迭代器：迭代是python最强大的功能之一，是访问集合元素的一种方式，可以将某个数据集内的数据‘一个挨着一个的取出来’，就叫做迭代什么是迭代器同时拥有iter方法和next方法的对象就是迭代器迭代器是一个可以记住遍历的位置的对象迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不能后退iter：用来生成迭代器next：用来返回迭代器的下一个数据例如...
2019-11-27 11:24:55
115
原创 python集合(set)
标题集合：set集合中的元素是无序、唯一、不可变的，因为无序所以不能用索引可以使用 {} 或者 set() 函数来创建注：1.创建一个空集合必须用set()，因为{}是用来创建一个空字典2.集合中的类型必须是不可变的可以使用集合来去重：True、False和1、0重复不能同时出现lists = [1,2,3,4,5,6,3,4,5,8]sets = set(lists)prin...
2019-11-26 17:16:31
239
原创 python关键字（保留字）
关键字（保留字）是 Python 语言中一些已经被赋予特定意义的单词，这就要求开发者在开发程序时，不能用这些保留字作为标识符给变量、函数、类、模板以及其他对象命名。区分大小写查看python的关键字import keywordprint(keyword.kwlist)and as assert break class continuedef del elif else ...
2019-11-25 22:02:03
473
原创 scrapy的组件、作用，基本流程
分为5个部分；Spiders(爬虫类)，Scrapy Engine(引擎),Scheduler(调度器),Downloader(下载器),Item Pipeline(处理管道)。spiders:一个是告诉scrapy下载哪些url(requests),第二个是将设置好的item通过yield item，这个item就会由pipelines来进行处理这两种主要由yield来做的，所以可以yie...
2019-11-14 19:05:25
382
原创 scrapy从下载到爬取网页基本流程---爬取猫眼为例
下载scrapy pip install scrapy创建项目在桌面创建一个文件夹用来放项目将创建好的项目放到文件夹内直接将项目拖进pycharm创建一个spider在setting.py文件中修改robots协议在新建好的spider中，初始化start_urls列表，告诉scrapy要下载的网页有哪些name：spider的名称，将来启动的时候，需要指定启动哪...
2019-11-08 21:17:29
299
转载 selenuim常用方法总结
1.获取当前页面的Url方法：current_url实例：driver.current_url2.获取元素坐标方法：location解释：首先查找到你要获取元素的，然后调用location方法实例：driver.find_element_by_xpath(“xpath”).location3.表单的提交方法：submit解释:查找到表单（from）直接调用submit即可实例：...
2019-11-01 21:23:12
201
原创 如何打印一个文件同时输出行号
打印文件的内容使用open读出病打印就可以，如果想知道文件有多少行，只需加一个内置函数enumerate()就可以enumerate()enumerate()是Python的内置函数用于可迭代\可遍历的数据对象组合为一个索引序列，同时列出数据和数据下标一般在for循环中使用 fp = open('demo.py','r',encoding='utf-8') for i,c in enu...
2019-10-31 19:32:54
246
原创 python求斐波那契数列，阶层
求斐波那契数列def demo(n): if n == 1 or n==2: return 1 return demo(n-1)+demo(n-2)print(demo(3))求阶层def demo(n): if n==0: return 1 return n*demo(n-1)print(demo(4))
2019-10-28 22:40:09
182
原创 使用递归求列表的最大值和最小值
使用递归求最大值def max_num(lists):if len(lists) == 1: return lists[0]elif lists[0] > max_num(lists[1:]): return lists[0]else: return max_num(lists[1:])print(max_num([5, 3, 4, 2]))使用递归求最...
2019-10-28 22:35:16
1553
1
原创 requests模块get请求和post基本认识
requests模块response包含的内容有：1.状态码response.status_code2.响应头response.headers[‘Cookie’]3.响应正文1.获取字符串类型的响应正文response.test2.获取bytes类型的响应正文response.content3.响应正文字符串编码response.encoding4.响...
2019-10-28 19:45:13
277
1
原创 使用hashlib将字符串或密码、文件进行加密
使用md5的方法对字符串或密码进行加密如果需要加密直接把该函数复制调用即可 import hashlib def get_has(value): md5 = hashlib.md5() md5.update(value.encode()) result = md5.hexdigest() return result content = 'afwsdf...
2019-10-27 21:54:13
335
原创 初识爬虫
爬虫：自动抓取网络信息的程序或脚本的的一个程序或脚本爬虫可以解决的问题：解决冷启动问题搜索引擎的根基：做搜索引擎少不了爬虫建立知识图谱，帮助建立机器学习知识图谱可以制作各种商品的比价软件，趋势分析其他：比如分析淘宝上竞争对手的数据；分析微博的数据传递影响力；分析人与人之间的关系等爬虫的分类通用爬虫：就是将互联网上的页面整体爬取下来之后，保存到本地聚焦爬虫：在实施网页抓...
2019-10-27 21:34:18
95
原创 mysql服务关闭无法启动解决方法
在进入mysql数据库的时候如果用户名和密码都正确但是登陆不进去可能是因为数据库的服务关闭了，需要先启动服务：鼠标右击计算机选择管理：选择服务和应用程序：双击服务：找到mysql如果服务关闭了点击重新启动服务...
2019-09-17 13:32:11
638
原创 django rom字段类型、字段属性、元数据
字段类型CharField varchar类型，需要指定长度IntegerField 整形DecimalField 浮点型 需要指定最大长度和小数点位数DateField 日期 datetimeForeignKey 做外键 to 设置关联表 to_field 关联表要关联的键名，默认为关联表中的id，可以不写 on_delete 当...
2019-09-11 21:52:54
199
原创 django rom查询（单表）
all()：返回一个queryset一个列表返回符合条件的所有数据在models.py文件里设置要查询的字段，返回的是字符串，所以要把非字符串的进行转换全部查询、指定查询、遍历get方法：返回一个对象返回结果有且只有一条，get后面的条件常用主键filter 方法，类似于sql中的 where返回值： queryset使用遍历或者下标提取属性的值因为...
2019-09-11 21:45:44
376
原创 Django 模板语法
在模板中，如果想要使用后端传入的数据，就要用到模板语法去实现。Django提供的模板语法：变量的使用、控制语句、循环变量的使用Django模板html文件中使用变量语法：{{ }}创建一个tpltest.html文件在urls.py里输入路由：-path(‘tpltest/’,views.tpltest),在views.py中编辑： from django.short...
2019-09-09 22:32:23
217
原创 Django 模板标签系统介绍
在做web开发，要给用户提供一个页面，页面包括静态页面+数据，两者结合起来就是完整的可视化的页面，django的模板系统支持这种功能，首先需要写一个静态页面（结构html，样式css，行为js）然后通过python的模板语法将数据渲染上去。创建一个templates目录配置模板调用模板第一种方法创建一个index.html文件在urls.py里建立路由在vi...
2019-09-09 20:28:44
142
原创 Django的环境安装和创建工程
Django的环境安装（默认已有python和anaconda）在命令窗口执行创建一个虚拟环境conda create -n DjangoPath python=3.5.2（ DjangoPath文件名可随意取）激活虚拟环境activate DjangoPath安装后的位置安装Djangopip install django==2.2.1查看一下是否成功-进入pytho...
2019-09-08 22:38:22
100
1
原创 Django基本介绍
Django是一个开放源代码的Web应用框架，由Python写成设计模式django 是一个mvt模式，同时遵循mvc模式M：model提供数据的支持，封装了数据库的访问，负责对数据库的增删改查C： 控制器，用于接受请求，处理业务逻辑，与model和view进行交互，返回结果V：view。用与封装结果，生成页面和html内容M model model提供数据的支持，封装了数...
2019-09-08 21:46:32
438
1
原创 mysql数据库优化
数据库优化主要针对数据库的性能，当数据量用户量特别大的时候，数据越来越多大批量的访问数据库会导致数据库越来越慢，所以需要对数据库进行优化硬件优化一般不用，除非特别大的公司，不在乎买服务器的钱，收入和买就是九牛一毛那种有钱任性库和表的结构优化分库分表：当单个库或者表中的数据量大时，数据库性能会变慢，使用多个库或表可以提高数据库性能垂直拆分-垂直表拆分当一个表中的数据量比较大字段比较多的...
2019-09-07 17:46:52
299
原创 关系型数据库三范式和mysql引擎
关系型数据库：是建立在数据模型的基础之上，借用集合、代数等数据概念，来去管理数据关系型数据库三范式：第一范式：字段要具有原子性，不可以继续拆分，一般根据实际需求来去决定第二范式：建立在第一范式基础上，每一列数据必须可以被唯一的区分，依赖于主键，每一张表至少要有一个主键第三范式：建立在第二范式的基础上，一般应用于设计多表关系中，要求一个数据表中不包含已在其他表中已包含的非主键字段...
2019-09-07 17:04:21
171
原创 数据库介绍
数据库介绍数据库：存放数据的仓库，按照数据结构，来组织、管理和存储数据，并提供了增、删、改、查的功能数据库的分类：数据库通常分为层次式数据库、网络式数据库和关系式数据库三种。不同的数据库是按照不同的数据结构来联系和组织的。当前主流数据库主要是两种，即关系型数据库和非关系型数据库。数据库事务事务的定义将一组有序的增、删、改操作当做一个独立的执行单元，如果都成功事务执行成功，如果有一个操作失...
2019-09-07 16:27:08
111
原创 python 循环
重复的做一件事情叫循环，python中有两种循环：while循环和for循环while死循环 while True： print('我爱你')这是最简单的死循环，程序会一直执行打印‘我爱你’，直到电脑死机或手动关闭程序指定次数的循环 #打印10次我爱你 i = 0 while i < 10: print('我爱你') #打印5排每排加一的小星星 i = ...
2019-09-06 22:25:39
266
原创 python--注释、变量、标识符、常量
注释什么是注释：对程序中的代码进行解释说明，在运行的时候注释掉的不会运行（给人看的，运行时不直接跳过注释的内容）注释的作用增加代码的可读性，对代码进行解释注释的分类单行注释-以#开头，#右边的内容都是注释，只对一行起作用，可以加在代码的上边或右边（选择多行代码按ctrl+/可以给所有选择的内容添加单行注释）多行注释-用三引号包含的内容 ''' 这里面的内容都...
2019-09-06 16:39:30
158
原创 python基本数据类型
基本数据类型数值类型： -int 整形：1，5,10-float 浮点型（小数）：3.14,10.8 -bool 布尔：True和False（在python中False对应数字0，True对应非0的数字）-complex 复数：实部+虚部 ：1+1j字符串类型：-string（str） 字符串：使用单引号或双引号包裹的都是字符串复合类型：-list 列表 ：[]-tupl...
2019-09-06 15:49:45
152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人