- 博客(20)
- 收藏
- 关注
RSS订阅原创 13highlights for day 19 of Python
1.什么是分布式分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。2.scrapy如何实现分布式由于需要爬取的数据量大，任务多，一台机器效率太低，需要多台机器共同协作处理。分布式爬虫将多台主机组合起来， 共同完成一个爬取任务，快速高效...
2019-08-22 21:59:52
152
1
原创 4highlights for day 18 of Python
1.如何多表查询?有几种方式,有什么区别?INNER JOIN（内连接）：如果表中有至少一个匹配，则返回行 【在语法中可以省略INNER关键字】LEFT JOIN（左连接）：从左表返回所有的行，如果右表中没有匹配，对应的列返回NullRIGHT JOIN（右连接）：从右表返回所有的行 ，如果左表中没有匹配，对应的列返回NullFULL JOIN（全连接）：只要其中一个表中存在匹配，则返回行...
2019-08-16 22:16:05
118
原创 9highlights for day 17 of Python
1.scrapy自带的pipeline有哪些2.如何自定义图像管道3.如何自定义文件管道4.图像管道如何存储缩略图5.图像管道的配置有哪些6.文件管道的常用配置有哪些7.动态网站如何使用scrapy采集8.scrapy框架一般要配置哪些东西...
2019-08-15 21:03:24
112
原创 15highlights for day 16 of Python
1.如何自定义中间件from .rand_agent import RandAgentclass MyUserAgentMiddleware(object)2.如何使自己的中间件生效process3.如何禁用系统的中间件禁用IP4.如何自定义管道文件pipeline，俗称管道文件，用于对爬虫数据进行二次处理class Job51SpiderPipeline(object)5.管...
2019-08-14 21:18:05
121
原创 19highlights for day 15 of Python
1.正则表达式匹配手机号(会手写表达式)pattern = re.compile(“1(3|4|5|6|7|8|9)\d\d\d\d\d\d\d\d\d”)pattern = re.compile(“1[3-9]\d{9}”)a = pattern.match(phone)print(a)2.正则表达式匹配邮箱(会手写表达式)pattern = re.compile("\w+_?\w+...
2019-08-13 21:48:19
454
原创 个人试后小结
1.正则表达式的常用符号有哪些? 分别是什么意思?*前面的符号重复0次或0次以上? 前面的符号重复0次或1次+前面的符号重复1次或1次以上\d匹配0-9中的数字^ 以…开头$ 以…结尾| 左右表达式满足任意一个\s 匹配任意空白字符2.常见的加密算法有哪些?挑一个说出特点MD5 AES DES hash+盐MD5:不可逆长度固定可以通过穷举字符串的方式基于数据库查询进...
2019-08-12 21:18:08
105
原创 8highlights for day 14 of Python
1.后台返回前台的数据格式有哪些?xml和json2.常用的json解析方式有哪些?系统json,第三方库,eval等3.json和xml的区别数据量 json更小,xml大一些解析方式 json简单,xml复杂数据格式 json:字典 xml:标签对4.字典如何转json\xml?dumps\dicttoxml5.如何分析动态网页?查看网络,搜索关键字,查看header...
2019-08-09 20:18:39
212
原创 8highlights for day 13 of Python
1.实现缓存的三种方式基于内存缓存基于普通文件缓存基于redis缓存数据库的缓存2.为什么缓存?高性能、高并发。3.同步异步的区别同步：顺序执行，如果上一步没执行完则一直等待(阻塞)异步：无序执行，不需要等待上一步就可以执行下一步4.实现对数据分页查询的两种方式可以使用sql中的limit来实现可以使用切片来实现，但是查询比较慢，不推荐5.eval是什么?有什么缺点?怎么改...
2019-08-08 21:54:24
121
原创 9highlights for day 12 of Python
1.同步和异步的区别同步：顺序执行，如果上一步没执行完则一直等待(阻塞)异步：无序执行，不需要等待上一步就可以执行下一步2.url中出现中文需要怎么办url中不能出现汉字，一般都会经过编码 # 浏览器为了提升用户体验，会自动解析 # requests库会自动对汉字做编码3.xpath的基本用法匹配文本获取属性一个属性多个值 需要contains匹配4.retur...
2019-08-07 21:02:49
134
原创 26highlights for day 11 of Python
1.常见的加密算法有哪些?MD5 AES DES hash+盐…2.md5加密算法依赖于那个包import hashlib3.m5的特点是什么?如何解密1. 不可逆(只能加密不能解密)解密依赖于数据库查询2. 加密后的数据定长(一般32位)3. 是一种摘要算法4.爬虫分类有哪些通用爬虫 聚焦爬虫5.爬虫的目的是什么自动地抓取万维网信息的程序或者脚本，它们被广泛用于互...
2019-08-06 21:11:20
266
原创 7highlights for day 10 of Python
1.数据库的分类关系型数据库 (MySQL,SQLserver,sqlite3,Oracle等)非关系型数据库(MongoDB,redis,memcache)2.数据库的常用概念存储数据的仓库(适合存储大量数据)数据库必备概念表table：数据库中管理(存储)数据的一个单位游标cursor：对数据的增删改查都可以通过游标实现4.操作数据库的基本步骤1.新建表 create：cr...
2019-08-05 21:26:39
110
原创 5 highlights for day 9 of Python
1.什么是抽象类抽象类基于类抽象而来，主要用于被继承，约束子类实现抽象方法，实现归一化设计。一般不实例化抽象类。使用abc模块实现抽象类。2.什么是接口类继承基类的方法，并且做出自己的改变或者扩展（代码重用）申明某个子类兼容于某基类，定义一个接口类interface，接口类定义了一些接口名且未实现接口的功能，子类继承接口类，并且实现接口中的功能3.定义接口函数的关键字是什么def...
2019-08-03 21:58:29
93
原创 13 highlights for day 8 of Python
1.什么时候用继承如果该类的属性和方法用得到，但是功能不够完善，则可以通过继承给该类扩展属性和功能2._和 __的区别?2）单线划线方法，打点调用不提示，但是可以正常使用3）双下划线方法，打点调用不提示，且不能强制使用3.类外如何访问_和__属性(方法)可以通过对象._类名__方法名来调用4.子类重写父类属性有什么特点在子类中，有一个和父类同名的方法，且子类的方法会覆盖掉父类的同...
2019-08-01 20:18:02
133
原创 22 highlights for day 7 of Python
1.哪些语言属于面向对象或者面向过程1. 面向过程 - C语言2. 面向对象 - python Java PHP C++ JS2.面向对象的特点封装 继承 多态3.面向过程的特点1.根据业务逻辑从上往下写代码2.容易被初学者接收4.OO, OOP, OOA,OOD的含义OO=ObjectOriented = 面向对象OOP=Programing = 面向对象编程OOA=Ana...
2019-07-31 20:29:38
130
原创 21 highlights for day 6 of Python
1.函数的作用(面试题)1. 将代码简化(减少代码冗余)2. 代码模块化(方便调试\修改代码)3. 将复杂的功能封装成函数，有利于项目快速迭代2.定义函数的基本格式def 函数名(参数1,参数2,参数3=值3,参数4=值4):函数体return 返回值3.函数常见的四种情况1. 无参数无返回值(函数默认都是返回None)2. 有参数无返回值3. 有参数有返回值4. 无参数有...
2019-07-30 20:22:58
105
原创 22 highlights for day 5 of Python
1.函数、方法、属性的特点函数属性以字典的形式存储的，键为属性名，值为属性内容。函数的属性可以在定义函数时同时定义函数属性, 也可以在函数声明外定义函数属性。函数是对程序逻辑进行结构化或过程化的一种编程方法, 函数有助于节省代码空间, 也可以利于保持程序一致性(修改一处, 所有代用都会跟着改变).函数的定义及使用方法: 函数必须先创建才可以使用，该过程称为函数定义，函数创建后可以使用，使用...
2019-07-29 21:18:50
135
原创 有关Python第四天（2019-7-26）的12个重点
1.集合的特点可变无序数据不重复2.zip的特点压缩若干个长度相同的可迭代对象3.合并两个列表且去除重复元素的方式a = [1,5,6,2,1,7,6]b = [6,4,8,7,6,2,1]a.extend(b)print(a)c = []for num in a:if num not in c :c.append(num)print©a = [1,5,6,2,1,...
2019-07-26 21:06:26
152
2
原创 有关Python第三天（2019-7-25）的28个重点
1.元组的特点是什么列表属于可变序列，可以任意修改列表中的元素。元组属于不可变序列，不能修改元组中的元素。因此，元组没有增加元素、修改元素、删除元素相关的方法。2.元组只有一个元素的时候需要注意什么如果元组只有一个元素，则必须后面加逗号。这是因为解释器会把(1)解释为整数 1，(1,)才解释为元组3.如何遍历元组在 python 中，可以使用 for 循环遍历 所有非数字类型的遍历：列...
2019-07-25 20:57:08
93
原创 有关Python第二天（2019-7-24）的15个重点
1.条件判断语句的三种常用格式if 判断条件：执行语句…elif 判断条件:执行语句…elif 判断条件:执行语句…else：执行语句…2.判断一个值是否为True的三种写法True and True ==> TrueFalse and True ==> FalseFalse and False ==> FalseTrue or True ...
2019-07-24 21:14:38
198
原创 有关Python第一天（2019-7-23）的20个重点
1.主流的三大操作系统我所知道的三大操作系统有 Windows、macOS、Linux 然而他们的区别分别是：windows普通电脑都可以使用，操作比较容易，是最普及最常用的macOS只能用于苹果系统 注意：一定要从正规的渠道去购买苹果系统，如果从非 正规渠道获得轻则导致电脑出现卡顿现象 重则死机 报废等Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于PO...
2019-07-23 22:08:45
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人