- 博客(14)
- 收藏
- 关注
RSS订阅原创 Gateway
gateway网关什么是网关微服务中网关位置Gateway处理流程Gateway三大核心概念Route（路由）使用微服务名实现动态路由Predicate（断言）使用Filter（过滤）常用的GatewayFilter-----AddRequestParameter自定义全局GlobalFiltergateway和nginx的区别什么是网关Spring Cloud Gateway 使用的Webflux中的reactor-netty响应式编程组件，底层使用了Netty通讯框架微服务中网关位置Gat
2021-03-16 12:37:57
376
原创 SQLAlchemy模块和scrapy框架
SQLAlchemy模块SQLAlchemy连接数据库使用数据库连接池技术，原理是在系统数据库初始化的时候，将数据库连接作为对象存储在内存中，当用户需要访问数据库时，并非建立一个新的连接，而是从连接池中取出一个已建立的空闲连接对象。使用完毕后，用户也并非将连接关闭，而是将连接放回连接池中，以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。同时，还可以通过设置连接池的参数来控制连接池...
2019-07-13 11:25:43
385
原创 csv文件操作，selenium库，多线程爬虫，tesseract库
[1] 读取csv文件和写入数据到csv文件读取csv文件以下方式可通过下标获取元素：import csv with open('stock.csv','r') as fp: reader = csv.reader(fp) titles = next(reader) for x in reader: print(x)以下方式可通过标题获取元素：import c...
2019-07-06 21:41:55
268
原创 JSON
JSON JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于...
2019-06-22 19:20:32
131
转载 Tkinter库
转载自C语言中文网，侵删Tkinter库 Tkinter 模块(Tk 接口)是 Python 的标准 Tk GUI 工具包的接口 .Tk 和 Tkinter 可以在大多数的 Unix 平台下使用,同样可以应用在 Windows 和 Macintosh 系统里。Tk8.0 的后续版本可以实现本地窗口风格...
2019-06-15 12:06:32
815
原创 正则表达式和re模块
正则表达式 通俗理解：按照一定的规则，从某个字符串中匹配出想要的数据。这个规则就是正则表达式。正则表达式是处理字符串的强大工具，它有向己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下使用正则表达式匹配单个字符匹配某个字符串：text = ‘hello’ret = re.mat...
2019-06-08 20:32:55
109
原创 BeautifulSoup库
BeautifulSoup4库 和 lxml 一样，BeautifulSoup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而BeautifulSoup 是基于HTML DOM（Document Object Model）的，会载入整个...
2019-05-31 21:16:15
157
原创 XPath与lxml库
XPath及开发工具 XPath， 全称XMLPath Language ，即 XML路径语言，它是一门在XML 文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML 文档的搜索。所以在做爬虫时，可以使用 XPath 来做相应的信息抽取。XPath开发工具：Chrome插件...
2019-05-25 21:03:05
439
原创 request库
request库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，比如处理网页验证和Cookies 时，需要写 Opener 和 Handler 来处理。 为了更加方便地实现这些操作，就有了更为强大的库requests，Reque...
2019-05-18 21:31:31
137
原创 爬虫urllib库
urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。它包含如下4 个模块。 request ： 它是最基本的 H...
2019-05-11 23:10:09
143
原创 网络爬虫与HTTP协议
网络爬虫 网络爬虫(又被称为网页蜘蛛，网络机器人)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 &n...
2019-05-04 20:14:53
736
原创 Python多线程
threading模块 threading模块是Python支持多线程的重要模块，该模块是咋低层模块_thread的基础上开发的更高层次的线程编程接口，提供了大量的方法和类来支持多线程编程，极大地方便了用户。threading模块常用方法：threading.active_count():返回当前处...
2019-04-27 21:59:57
1262
原创 Python异常处理
1. try…except结构异常处理结构中最常见也最基本的结构。其中try子句中的代码块包含可能出现的语句，而except子句用来不做相应的异常，except子句中的代码块用来处理异常。如果try中的代码块没有出现异常，则继续往下执行异常处理结构后面的代码；如果出现异常并且被except子句捕获，则执行except子句中的异常处理代码；如果出现异常单没有被except捕获，则继续往外层抛出；如...
2019-04-20 21:31:10
12236
1
原创 Python文件操作
最近开始学习Python，第一次写博客，现在写下Python文件操作资料。部分资料来自互联网，欢迎大家互相讨论Python文件I/O读取键盘输入Python提供了两个内置函数从标准输入读入一行文本，默认的标准输入是键盘。如下：raw_input()函数：从标准输入读取一个行，并返回一个字符串（去掉结尾的换行符）Input函数：和raw_input（）函数基本类似，但是input可以接收一...
2019-04-13 21:09:40
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人