- 博客(18)
- 收藏
- 关注
RSS订阅原创 正则表达式常见用法
正则表达式是处理字符串的强大工具，具有特定的语法结构，可以实现字符串的检索、替换、匹配验证等。1、match()第一个参数传入正则表达式，第二个参数传入要匹配的字符串；尝试从字符串的起始位置匹配正则表达式，如果匹配成功就返回匹配的结果，否则返回None；import recontent ='Hello 1234 5678 Word_This is a Demo'result=re.match('^Hello\s\d\d\d\d\s\d{4}\s\w{9}',content)print
2020-05-15 10:49:28
264
原创 resquests库
1、基本用法 get请求方式import requestsresponse = requests.get('https://www.python.org/')print(type(response))print(response.status_code)print(response.text)运行：<class 'requests.models.Response'>200（此处省略了response.text内容）各种请求方式...
2020-05-14 17:55:10
578
原创 Urllib库
目录定义用法1、urlopen()HTTPResposne类型方法和属性POST类型请求定义内置的HTTP请求库，包含了四个模块：urllib request库（请求模块）、urllib error库（异常处理模块）、urllib parse库(url解析模块)、urllib robotpaeser库（robots text 解析模块，判断哪些网站可爬）...
2020-05-10 16:25:08
814
原创 爬虫基本原理
目录爬虫定义爬虫流程Request包含内容Response包含内容解析方式解决javascript的渲染问题保存数据爬虫定义请求网站并提取数据的自动化程序爬虫流程发起请求获取响应内容 类型可能书Html、Json字符串、二进制数据解析内容 保存数据Request包含内容内容 备注 请求方...
2020-04-28 09:37:57
223
原创 基本库使用：urllib
基本原理代理实际指代理服务器（proxy server）,功能是代理网络用户去取得网络信息。也可以说它是网络信息的中转站。这样在本机和服务器中间搭建一个桥，本机通过代理服务器发出请求给Wep服务器，最后由代理服务器把Wep服务器的响应转发给本机。代理作用 突破自身IP访问限制 访问一些单位或团体内部资源，如教育网内地址段免费代理服务器 提高访问速度：通常代理服务器都设置一个较大的硬盘缓...
2019-10-25 14:19:33
213
原创 会话和Cookies 、代理基本原理
静态网页和动态网页网页内容是HTML代码编写的，文字、图片等内容均通过写好的HTML代码来指定，这种页面叫静态网页。特点：家在速度快，编写简单，可维护性差，不能根据URL灵活多变地显示内容。动态网页，它可以动态解析URL中参数的变化，关联数据库并动态呈现不同的页面内容，非常灵活多变。此外动态网页可以实现用户登陆和注册的功能。无状态HTTPHTTP无状态是指HTTP协议对事物处理是没有记忆能...
2019-10-22 14:19:22
272
原创 爬虫基本原理
爬虫概述爬虫就是获取网页并提取和保存信息的自动化程序。1、获取网页即获取网页源代码，向网站服务器发送请求，返回的响应体便是网页的源代码，然后接收到响应并将其解析出来。2、提取信息获取源代码后，接下来就是分析源代码，从中提取想要的数据。最通用方法采用正则表达式，但是构造正则表达式容易出现错误。另外，由于网页结构有一定的规则，可以根据网页的属性、CSS选择器或XPath来踢去网页信息，如...
2019-10-22 09:37:25
173
原创 网页基础
网页可以分为- HTML（骨架）、CSS（皮肤） 和 JavaScript（肌肉）。1、HTMLHTML是用来描述网页的一种语言 （hyper text market langue）,即超文本标记语言。网页包含文字、按钮、图片和视频等各种复杂的元素，其基础架构就是HTML。不同类型的文字用不同的标签来表示。图片-img、视频- video、段落-video、段落-p等。他们之间的布局通过标签...
2019-10-21 21:49:43
177
原创 存储过程
存储过程 简单说，就是为以后的使用而保存的一条或做条MySQL语句的集合。可将其视为批文件，虽然他们的作用不仅限于批处理存储过程优点通过把处理封装在容易使用的单元中，简化复杂的操作；由于不要求反复建立一系列处理步骤，这保证了数据的完整性；简化对变动的管理。如表名、列明或业务逻辑变化，只需要更改存储过程的代码。使用它的人员甚至不需要知道这些变化；这点延伸就是安全性，通过存储过程...
2019-10-18 16:24:44
239
原创 视图
视图是虚拟的表。与包含数据的表不一样，视图只包含使用时动态检索数据的查询。视图应用场景重用SQL语句简化复杂的SQL操作。在编写查询后，可以方便地重用它而不必知道他的基本查询细节；使用表的组成部分而不是整个表；保护数据。可以给用户授权表的特定部分的访问权限而不是整个表的访问权限；更改数据格式和表示。视图可返回与底层表的表示和格式不同的数据；...
2019-10-18 16:24:17
217
原创 全文本搜索
并非所有引擎都支持全文本搜索。常使用的搜索引擎包括MyISAM和InnoDB,前者支持全文本搜索，而后者不支持。优势：使用全文本搜索时，MySQL不需要分别查看每个行，不需要分别分析和处理每个词。MySQL创建指定列中各词的一个索引，搜索可以针对这些词进行。这样，MySQL可以快速有效决定哪些词匹配，哪些不匹配，他们的匹配频率等等。为了进行全文本搜索，必须索引被搜索的列，而且要随着数据的改变...
2019-10-18 16:23:57
411
原创 子查询、联结表、创建高级联结、组合查询
子查询嵌套在其他查询中的查询利用子查询过滤select cust_id from orderswhere order_num in (select order_num from orderitems where prod_id ='TNT2');...
2019-10-18 16:23:34
167
原创 分组数据
通过分组数据，以便能汇总表内容的子集。涉及两个新SELECT语句子句，分别是GROUP BY 子句和HAVING子句分组允许把数据分为多个逻辑组，以便对每个组进行聚集计算...
2019-10-18 16:22:52
332
原创 创建计算字段 与 聚集函数
计算字段并不实际存在于数据库表中，而是在select语句内创建的，即使用拼接 Concat() 函数，将值联结到一起构成单个值需要一个或多个指定的串，各个串之间用逗号分隔非列表字段使用单引号select concat （product_name,'(',product_adress,')'） #输入苹果（河北） ...
2019-10-18 16:22:12
199
原创 数据处理函数
支持以下类型的函数用于处理文本串，如删除或填充值，转换值为大小写的文本函数用于在数值数据上进行算数操作，如返回绝对值、进行代数运算的数值函数用于处理日期和时间并从这些值中提取特定成分，例如返回两个日期之差，检查日期有效性等的日期和时间函数返回DBMS正在使用的特殊信息，如返回用户登录信息，检查版本的系统函数文本函数函数说明Left()返回串左边的字符串R...
2019-10-18 16:21:22
182
原创 正则表达式
正则表达式正则表达式的通是匹配文本，将一个模式（正则表达式）与一个文本串进行比较REGEXP操作符LIKE 与REGEXP区别like匹配整个列，如果被匹配的文本在列值中出现，则like不会找到它，相应的行业不会被返回（除非使用通配符）regexp在列值内进行匹配，如果被匹配的文本在列值中出现，regexp会找到它，相应的行将被返回匹配不区分大小写MySQL中的正则表达式匹配...
2019-10-18 16:20:41
208
原创 通配符
通配符用来匹配值的一部门的特殊字符1、LIKE 操作符指示MySQL搜索模式利用通配符匹配而不是直接相等匹配进行比较1.1 百分号（%）通配符表示任何字符出现的任意次数like 'jet%' # 以jet开头的词like '%jet%' # jet在任意位置like '%jet' # 以jet 结尾的词#注意尾空格...
2019-10-18 16:19:24
1352
原创 HTTP基本原理
URI和URLURI （uniform resource identifer）,即统一资源标志符；URL（uniform resource locator）,即统一资源定位符；超文本hypertext,浏览器中看到的网页就是超文本解析而成，而网页源代码是一系列HTML代码，包含一系列标签，比如img显示图片，p指定显示段落。网页源代码HTML就可以称作超文本。HTTP和HTTPS这就是...
2019-10-18 16:18:09
160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人