- 博客(63)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java_多线程、并发控制、分布式锁、存储结构、消息队列常见问题
文章目录1. synchronize 和 lock的区别2. 多线程的状态流转、等待和阻塞的区别3. zookeeper 角色4. 分布式锁的原理5. redis的分布式方式6. redis存储的内部数据结构7. redis通过什么方式实现主从复制8. MySQL为什么选择B+树，不选择B树9. nsq和kafka的使用场景，不同点，以及不同的场景怎么选择1. synchronize 和 lock的区别2. 多线程的状态流转、等待和阻塞的区别3. zookeeper 角色4. 分布式锁的原理5.
2021-04-05 22:53:10
463
原创 054_初识Docker & Docker的安装和使用 & 案例基于Docker的2048项目
文章目录1. Docker 简介1.1 什么是虚拟化1.2 什么是 Docker1.3 容器与虚拟化的比较1.4 Docker 组件1.4.1 Docker 服务器与客户端1.4.2 Docker镜像与容器1.4.3 Registry(注册中心)2. Docker 的安装与启动2.2 设置 ustc 的镜像2.3 Docker 的启动与停止3. 常用命令3.1 镜像相关命令3.1.1 查看镜像3.1.2 搜索镜像3.1.3 拉取镜像3.1.4 删除镜像3.2 容器相关命令3.2.1 查看容器3.2.2 创建
2020-05-13 00:26:41
425
原创 053_爬虫案例_拉勾网职位需求采集
需求分析知己知彼，方可百战不殆。在学习技术的时候我们往往面临太多选择而不知所措，可能是各个方面都有涉猎，对某个领域没有深入研究，看似什么都会，真要让你做个什么东西的时候就显得捉肘见襟。如果我们能从招聘职位所需的技能开始学习，便可练就一身硬功夫，为实战应用中打下良好的基础。通过python抓取拉钩网的招聘详情，并筛选其中的技能关键词，存储到excel 中。项目简介职位检索页面分析通过对职位检索页面分析发现需要的职位信息在content –> positionResult –> resul
2020-05-12 21:22:47
445
原创 052_Selenium & 案例QQ邮箱自动登陆
动态渲染页面爬取在博客51_Ajax爬虫 & 案例微博页面爬取中介绍了利用 Ajax 解决页面动态渲染的问题，但是 JS 动态渲染的页面不止 Ajax 这一种，有些网站，不能直接分析 Ajax 来抓取， 难以直接找出其规律，例如：中国青年网，分页由 JS 生成但不包含 Ajax 请求。ECharts 官方实例，图形都是经过 JS 计算之后生成的。淘宝，其 Ajax 接口含有很多加密参数。如何解决上述问题呢?直接使用模拟浏览器运行的方式来实现 —> 可见即可爬Python提供了
2020-05-12 19:52:27
694
原创 051_Ajax爬虫 & 案例微博页面爬取
1. 认识 Ajax需求，解决的问题：浏览器中可看到正常显示的数据，但使用 requests 得到的结果并没有。 这是什么原因呢?—> requests获取的是原始的HTML文档，而浏览器中的页面是经过JS处理数据后生成的结果。这些数据的来源有哪些情况呢?Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成的什么是 Ajax？Ajax(Async...
2020-04-23 11:34:45
285
原创 050_Scrapy 爬虫框架 & 案例四大名著爬取
文章目录1. 认识 Scrapy2. Scrapy 项目——四大名著爬取2.1 items2.2 spiders2.3 Scrapy shell2.4 Item Loaders2.5 pipelines2.6 settings1. 认识 ScrapyScrapy爬虫框架的优势：用户只需要定制开发几个模块， 就可以轻松实现爬虫，用来抓取网页内容和图片， 非常方便。Scrapy 使用了 Tw...
2020-04-23 10:39:41
848
原创 049_爬虫_网络数据解析_正则表达式 & XPath & BeautifulSoup
爬虫具有四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据 (按照我们想要的方式存储和使用)在前面我们通过案例了解了明确目标和爬的过程，但是对于爬下来的数据显然存在一部分需要的一部分不需要的问题。所以，进一步的数据解析是爬虫过程中必不可少的一部分。1. 正则表达式正则表达式，又称规则表达式，通...
2020-04-22 21:32:39
420
原创 048_爬虫案例_360搜索信息爬取
需求分析：对360搜索页面分析，删去不必要的参数信息，可得出其搜索URL为：https://www.so.com/s?q=搜索内容根据搜索关键字返回相应的整个完整的搜索结果页面信息主要流程：下载页面内容，即利用requests模块获取页面，并返回页面信息(二进制)将获得的页面信息保存至本地 html 文件中，注意写入方式！from urllib.error import H...
2020-04-18 00:25:51
667
原创 047_爬虫_网络数据采集_requests库
1. 网络数据采集之requests库requests 官方网址：https://requests.readthedocs.io/en/master/requests 常用方法：方法说明requests.request()构造一个请求，支撑以下各个方法的基础方法requests.get()获取 HTML 网页的主要方法，对应于 HTTP 的 GETrequ...
2020-04-17 23:05:23
282
原创 046_爬虫案例_百度图片爬取
【写在前面】网络爬虫抓取过程可以理解为模拟浏览器操作的过程，所以深入理解 HTTP 协议更有利于爬虫的学习，并且该部分是面试官非常喜欢问的部分，很重要，详情请见：深入浅出HTTPლ(╹◡╹ლ)点我鸭~通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。通用网络爬虫：是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，是从互联网中搜集网页、采...
2020-04-16 00:15:41
284
原创 044_Flask+uwsgi+Nginx+Centos项目部署以及Flask知识点难点总结
1. Python 项目部署1.1 项目概述基于 Flask 框架的任务清单管理系统托管在码云TodoList仓中项目结构2. Flask 项目知识点难点总结2.1 环境准备python3.7Flaskpymysql2.2 Flask 蓝图 (组件化开发)什么是蓝图？Flask蓝图提供的是模块化管理程序路由的功能，可以使程序结构清晰、简单易懂。蓝图的优势：1). ...
2020-03-23 03:41:19
388
1
原创 043_Django+Xadmin 优化项目的后台管理
1. 为什么使用 Xadmin首先，Xadmin 是一款基于 Django 编写的 admin 的替代管理系统。Django 中是自带后台管理模型（admin）的，下面以个人博客项目为例简单介绍 admin 的实现步骤和呈现效果，代码托管在 https://gitee.com/J_WJ/BlogProject。step1，创建后台管理的超级用户python manage.py creates...
2020-03-22 01:24:26
307
原创 042_初识Flask框架
1. 什么是 FlaskFlask：是一种Web框架，为开发者提供一个工具、库和技术以构建一个Web应用程序。可以是一些Web页面、博客、 基于Web 的日历应用或商业网站。Flask依赖模块：web服务网关接口 (Python Web Server Gateway Interface, WSGI)Werkzeug 一个WSGI工具包， 是python语言定义的web服务器和web应用...
2020-03-05 01:21:28
158
原创 LeetCode73_矩阵置零
给定一个 m x n 的矩阵，如果一个元素为 0，则将其所在行和列的所有元素都设为 0。请使用原地算法。示例 1:输入:[[1,1,1],[1,0,1],[1,1,1]]输出:[[1,0,1],[0,0,0],[1,0,1]]示例 2:输入:[[0,1,2,0],[3,4,5,2],[1,3,1,5]]输出:[[0,0,0,0],[0,4,5,...
2020-02-14 15:44:36
165
原创 LeetCode20_栈的应用_有效的括号
给定一个只包括'('，')'，'{'，'}'，'['，']'的字符串，判断字符串是否有效。有效字符串需满足：左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。示例 1:输入: “()”输出: true示例 2:输入: “()[]{}”输出: true示例 3:输入: “(]”输出: false示例 4:输...
2020-02-14 15:26:46
84
原创 LeetCode76_滑动窗口_最小覆盖子串
给你一个字符串 S、一个字符串 T，请在字符串 S 里面找出：包含 T 所有字母的最小子串。示例：输入: S = “ADOBECODEBANC”, T = “ABC”输出: “BANC”说明：如果 S 中不存这样的子串，则返回空字符串 “”。如果 S 中存在这样的子串，我们保证它是唯一的答案。class Solution: def minWindow(self, s: '...
2020-02-14 15:04:22
126
原创 LeetCode03_滑动窗口_无重复字符的最长子串
给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例 1:输入: “abcabcbb”输出: 3解释: 因为无重复字符的最长子串是 “abc”，所以其长度为 3。示例 2:输入: “bbbbb”输出: 1解释: 因为无重复字符的最长子串是 “b”，所以其长度为 1。示例 3:输入: “pwwkew”输出: 3解释: 因为无重复字符的最长子串是 “w...
2020-02-12 00:17:41
128
原创 040_初识 web 前端 & HTML 超文本标记语言
1. web前端开发技术web 前端开发语言主要包括：html语言，css样式代码，javascript脚本，html5，css3，jQuery，ajax，Bootstrap，Backbonehtml语言：网页的基本标记语言，也是最基础的语言，掌握起来比较简单。css样式代码：是用来控制html代码如何显示的，html语言只是网页的标记，但如何更好的在网页上展示你想要的效果，由cs...
2020-02-11 17:17:01
1340
原创 039_Python_案例_简易的HTTP服务器
简易的HTTP服务器，可实现对静态页面的加载代码示例：import socketdef handler(clientSocketObj): # 5. 接收客户端传递的消息 recv_data = clientSocketObj.recv(1024) print("*"*10) print(recv_data) # 6. 回复消息 clientSocketObj.send(...
2020-02-08 02:17:24
177
原创 038_Python网络编程
1. 网络通信概述网络的目的：用网络能够把多方链接在一起，以进行数据传递网络编程就是，让在不同的电脑上的软件能够进行数据传递，即进程之间的通信2. TCP/IP 协议2.1 认识 TCP/IP不同种类的计算机间到底是怎么进行数据传递的呢？就像说不同语言的人沟通一样，只要有一种大家都认可都遵守的协议即可， 那么这个计算机都遵守的网络通信协议叫做 TCP/IP协议TCP/IP协议(...
2020-02-08 01:46:06
218
原创 037_Python多任务编程_进程 & 线程 & 协程
文章目录1. 认识多任务编程2. 多进程编程2.1 认识进程2.2 创建子进程2.2.1 方法一：fork 创建子进程2.2.2 方法二：Process 创建子进程2.2.3 方法三：Pool 创建子进程2.3 进程间通信3. 多线程编程3.1 认识线程3.2 创建子线程3.3 线程间资源管理3.3.1 全局解释锁 GIL3.3.2 线程同步 --> 线程锁3.3.3 死锁4. 协程4.1 ...
2020-02-04 18:42:30
670
原创 035_计算机网络知识难点归纳
文章目录计算机网络相关知识点整理:1. OSI，TCP/IP，五层协议的体系结构，以及各层协议?2. TCP 和 UDP 是什么?简述它们有什么区别?3. 请描述 TCP 三次握手的过程， 为什么要三次握手?4. 请描述 TCP 四次分手的过程, 为什么需要四次分手?5. 四次分手过程中为什么等待 2MSL?6. TCP 粘包是怎么回事，如何处理？UDP 有粘包吗？7. time_wait 是什么...
2020-02-04 14:50:34
965
原创 034_非关系型数据库Redis_安装配置 & 基础语法 & Python交互
1. 认识RedisNoSQL(NoSQL = Not Only SQL )，意为“不仅仅是SQL”，泛指非关系型的数据库。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。Redis(Remote Dictionary Server)远程字典数据服务的缩写，由意大利人开发的是一款内存高速缓存数据库。使用ANSI C语言编...
2020-01-24 00:21:02
155
原创 033_Python知识点_内存管理机制
文章目录Python内存管理机制1. 内存池机制2. 垃圾回收机制2.1 引用计数机制2.2 标记-清除机制2.3 分代回收机制Python内存管理机制Python中内存管理机制：由于Python中万物皆对象，内存管理机制就是对象的存储问题，Python会分配一块内存空间去存储对象。对于整数和短小的字符等，Python会执行缓存机制，即将这些对象进行缓存，不会为相同的对象分配多个内存空间...
2020-01-23 02:17:58
210
原创 032_关系型数据库MySQL_ORM对象关系映射
1. 理解对象关系映射对象关系映射(Object-Relational Mapping, ORM)： 作用是在关系型数据库和业务实体对象之间作一个映射，这样，在具体的操作业务对象的时，不需要再去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。简单理解：是可以将 py 语言翻译为 sql 语言，将 sql 语言翻译为 py 语言的的过程SQLAlchemy：是Python编程语言下的一...
2020-01-20 14:48:13
328
原创 031_关系型数据库MySQL_安装配置 & 基础语法 & 利用pymysql与Python交互
1. 认识数据库问：为什么需要数据库？答：为数据的持久化存储；为方便数据的查找(读取)。数据库系统解决的问题是持久化存储，优化读写以及保证数据的有效性。问：数据库的分类有哪些？答：数据库的分类有：关系型数据库：指采用了关系模型来组织数据的数据库。关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。主流的关系型数据库有：Oracle、Micro...
2020-01-19 23:37:15
265
原创 029_Python知识点_面向对象进阶_元类&抽象基类&自省机制&slots
1. 元类Python中一切皆对象。 --> 所以类也是对象 --> 那么，元类：类的类，也就是类的模板。元类的实例为类，正如类的实例为对象。2. 抽象基类3. 自省方法4. __slots__...
2020-01-17 20:36:25
194
原创 030_关系型数据库MySQL_常见面试题总结及练习
开发环境：操作系统Linux、数据库MariaDB(MySQL的一个分支，与MySQL的操作命令几乎一致)、数据源student.sql一、简答题1. MySQL常见的三种存储引擎（InnoDB、MyISAM、MEMORY）的区别(至少5点)？数据库事务的四个特性及含义数据库三范式是什么?数据库支持的SQL数据类型常用的有哪些?SQL数据类型varchar和char的区别?SQ...
2020-01-10 23:39:16
441
原创 028_Python知识点_魔术方法
1. 特殊属性常见的特殊属性：特殊属性功能__name__类、函数、方法等的名字__module__类所在的模块__class__对象或类所属的类__bases__当前类的父类__doc__类、函数的帮助文档__mor__方法解析顺序。多继承中，类的继承算法__dict__类或对象的属性，字典__dir__返回类或对...
2020-01-08 21:43:38
168
原创 027_Python知识点_面向对象的高级特性
1. 类属性与实例属性类属性就是类对象所拥有的属性,它被所有类对象的实例对象所共有,在内存中只存在一个副本。在前面的例子中我们接触到的就是实例属性(对象属性)，它不被所有类对象的实例对象所共有,在内存中的副本个数取决于对象个数。2. 类方法和静态方法类方法是类对象所拥有的方法,需要用修饰器一般以@classmethod来标识其为类方法,1). 对于类方法,第一个参数必须是类对象,作为第一...
2020-01-07 20:45:32
143
原创 026_Python知识点_面向对象编程及其三大特性
面向对象编程1. 认识面向对象编程1.1 面向过程编程1.2 函数式编程1.3 面向对象编程2. 面向对象编程三大特性2.1 封装特性2.2 继承特性2.2.1 继承 (单继承)2.2.2 多继承2.2.4 私有属性和私有方法2.3 多态特性1. 认识面向对象编程为认识面向对象编程，首先，简要介绍面向过程编程以及函数式编程1.1 面向过程编程面向过程是一种以过程为中心的编程思想。分析出解决...
2019-12-31 22:01:37
133
原创 025_Python知识点_模块与包
模块与包1. 模块1.1 模块导入方式1.2 常见的模块内置属性2. 包3. 模块的制作与发布4. 模块的安装与使用1. 模块模块：即工具包，单个Python文件就是一个模块，想要使用这个工具包中的工具(就好比函数)，就需要导入这个模块。1.1 模块导入方式导入模块的过程实质是执行文件 (.py) 的过程# 方式 1：import 模块名1, 模块名2# 方式 2：import ...
2019-12-25 17:06:15
242
原创 024_Python知识点_高级特性
Python的高级特性1. 生成式1.1 列表生成式示例1.2 集合生成式示例1.3 字典生成式示例2. 生成器2.1 生成器应用案例_智能聊天机器人2.2 return关键字和yield关键字的区别3. 生成器、迭代器与可迭代对象4. 闭包5. 装饰器5.1 装饰器通用模板5.2 装饰器的典型应用场景5.3 有参装饰器6. 内置高阶函数6.1 map 函数6.2 reduce 函数6.3 fil...
2019-12-24 22:09:17
228
原创 023_Python装饰器_案例_多装饰器_权限验证
利用装饰器实现用户的权限验证，逻辑关系：如果用户出现购买行为，调用buy 函数，则对用户进行权限验证对用户进行登陆权限验证2.1 用户已登陆，跳转至 step32.2 用户未登录，进行用户登录对用户进行用户权限验证3.1 用户权限为 1，可进行购买操作3.2 用户权限不是1，不可进行相应的购买操作from functools import wraps# 系统中的用户信息;...
2019-12-24 20:49:02
603
原创 022_Python装饰器_案例_Fib数列缓存
在推导Fib数列过程中利用Python装饰器的实现缓存，解决利用递归实现Fib数列的过程中，出现的大量重复计算，进而影响性能的问题ps：不借助Python中自带的解决缓存问题的解释器from functools import lru_cachefrom functools import wrapsimport time# 官方自带的缓存装饰器，可结合场景使用# from funct...
2019-12-24 20:18:12
162
原创 021_Python装饰器_案例_插入日志
利用装饰器将被装饰函数的运行结果及其执行时间、用户等信息写入log日志中import loggingfrom functools import wraps# 日志文件的配置logging.basicConfig( level=logging.DEBUG, filename="message.log", filemode="a", format="%(a...
2019-12-21 21:23:28
298
原创 020_Python装饰器_案例_事务处理_JSON格式转换
利用装饰器将被装饰函数的返回值全部转换为JSON格式import jsonfrom functools import wrapsdef json_converter(func): """将被装饰函数的返回结果转换成JSON格式""" @wraps(func) def wrapper(*args, **kwargs): """闭包函数""" ...
2019-12-21 20:59:13
211
原创 019_Python装饰器_案例_性能测试
利用装饰器完成对被装饰函数的性能测试，具体指该函数的总的运行时间是多少？import timefrom functools import wrapsdef performanceTest(func): """计算被装饰的函数运行时间的装饰器""" # @wraps(func)，用来保留func函数原有的函数名和帮助文档 @wraps(func) de...
2019-12-21 20:31:33
205
geckodriver-v0.26.0-win64.zip
2020-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人