- 博客(86)
- 收藏
- 关注
RSS订阅原创 二、深入理解计算机系统 第一章 计算机系统漫游
深入理解计算机系统第一章 计算机系统漫游1-1 信息就是位+上下文1-2 程序被其他程序翻译成不同的格式1-3 了解编译系统如何工作是大有益处的1.4处理器读并解释储存在存储器中的指令（一）系统的硬件组成第一章 计算机系统漫游通过研究“hello world”这个简单程序的生命周期，介绍计算机系统的主要概念和主题#include<stdio.h>main(){ printf("hello world\n");}1-1 信息就是位+上下文我们的hello程序的生命是从
2022-04-13 17:01:25
674
原创 一、计算机基础
计算机基础一、第 1 章 计算机基础知识1-1 计算机概述1-1-1 计算机的产生与发展（一）计算工具的发展（二）现代计算机的发展（三）计算机的分代（四）计算机新技术的发展1-1-2 计算机的特点、分类、应用（一）计算机的特点（二）计算机的分类（三）计算机的应用1-2 计算机与信息1-2-1 信息技术概述（一）信息与数据介绍（二）信息技术1-2-2 计算机中信息的表示与存储（一）进位计数制（二） 二进制数的运算（三） 数值型数据在计算机中的表示（四） 非数值型数据在计算机中的表示一、第 1 章 计算机基础
2022-02-18 15:10:21
2298
1
原创 9Django-----------Django框架------------安装使用、基本介绍
一、Django框架介绍二、Django框架搭建（一）环境搭建（二）项目实例三、项⽬结构介绍（一）URL与视图1）视图的定义2）路由的定义3）URL模块化4）URL添加参数5）url命名（二）模板1）if标签2）for...in...标签3）a标签（三）数据库1）Django配置连接数据库2）创建ORM模型3）映射模型到数据库中4）ORM的增删改查5）F表达式和Q表达式----优化ORM6）QuerySet的⽅法7）ORM模型迁移（四）⾼级视图1）请求方式2
2021-12-28 13:40:44
676
原创 8Flask-----------Flask框架------------安装使用、基本介绍
一、Flask 简介（一） 环境搭建（二）运行项目二、项⽬内容介绍（一）app.route路由URL设定1）传参2）请求方式（二）def视图函数1）构造URL（url_for)2）重定向（页面跳转）3）返回对象4）调用模板（三）配置文件（四）静态⽂件的配置（五）类视图（六）蓝图（七）子域名（八）Jinja2模版1）过滤器2）控制语句`1.if``2.for…in…``3.宏macro``4.include``4.赋值(set)语句``5.模板继承block`
2021-12-28 13:39:55
2277
1
原创 7Vue---------------Vue网页开发------------------全栈式开发48
一、Vue 介绍（一）绑定模板 el（二）值存储data`更新视图的值`（三）方法methods（四）其他组成部分二、v-绑定语法（一）v-if、v-show切换显示（二）v-for循环（三）v-bind单向绑定（四）v-model双向绑定（五）v-on绑定事件三、知识补充四、特殊标签（一）button按钮（二）输入框inputtextarea（三）select下拉框（四）table表格五、特性标签属性（一）class、type样式属性（二）computed类-
2021-12-28 13:38:37
637
1
原创 docker的基本使用
docker的基本使用一、创建容器（一）启动并创建基本的容器命令（二）创建端口映射的容器二、容器文件复制（一）将本机的复制到容器（二）将容器的下载到本机一、创建容器（一）启动并创建基本的容器命令docker run -it REPOSITORY:TAG /bin/bash# REPOSITORY:TAG获取docker images（二）创建端口映射的容器nvidia-docker run -it --rm--name 容器名 -dev -v /mnt/data2:/share -p映射端口
2021-12-28 13:36:51
494
原创 6Vue----------------VSCode编译器--网页开发工具------------------全栈式开发47
VSCode下快速开始编写html的方法1.新建文件（Ctrl+N）2.新建的文件Untitled-1 是纯文本格式的，需要改为 HTML 格式。3.快速生成标准的 html 代码（1）在第一行输入 ！（2）按tab键或者选择代码提示中的 ！在浏览器中查看HTML页面Visual Studio Code默认是在VScode的控制台下查看html页面，这对于我们调试和查看效果十分不方便。所以这里我们需要安装一下扩展插件，在浏览器中查看html页面。安装完成后，选择你要在游览器打开的HTML
2021-07-05 20:21:33
110
原创 MongoDB数据库--------------------python爬虫知识点9
一、MongoDB介绍MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引SQL和NoSQL的主要区别在SQL中层级关系:数据库->表->数据在NoSQL中是:数据库->集合->数据MongoDB的
2021-06-28 06:10:37
192
1
原创 6git----------------Git多人开发协同工具-------------------全栈式开发46
git checkout -b bbz创建分支并切换history 查看历史命令
2021-06-28 03:06:17
375
1
原创 爬取当当网 --------分布式爬虫scrapy_redis--------python爬虫案例
爬取当当网一、分析二、代码实现（一）准备程序（二）setting.py文件（三）hr.py文件（四）item.py文件（五）middlewares.py文件（六）pipelines.py文件一、分析爬取对象：当当网 http://book.dangdang.com/要求：获取三级类目的名称，并得到详情页书名和图片url思路：先实现普通的scrapy爬虫，然后在改写成scrapy_redis第一步 页面分析需求：大分类 二级分类 三级分类 图书的名字和图片的src大分类整个大分类
2021-06-26 21:18:21
469
2
原创 5redis------------Redis补充--内存淘汰机制与算法、Redis性能测试、Redis慢查询、可视化管理工具------全栈式开发45
内存淘汰机制与算法而 Redis 内存淘汰机制指的是，当 Redis 运行内存已经超过 Redis 设置的最大内存之后，将采用什么策略来删除符合条件的键值对，以此来保障 Redis 高效的运行。Redis 最大运行内存只有在 Redis 的运行内存达到了某个阀值，才会触发内存淘汰机制，这个阀值就是我们设置的最大运行内存，此值在 Redis 的配置文件中可以找到，配置顶为 maxmemkory。内存淘汰执行流程，如下图所示：查询最大运行内存我们可以使用命令 config get maxmemory
2021-06-26 00:48:06
131
1
原创 5redis-----------redis高级--GEO-查询附近的人、基数统计算法HLL 、布隆过滤器、缓存雪崩&穿透&击穿-------全栈式开发44
这里写目录标题查询附近的人-GEO4.基数统计算法-HyperLogLog缓存雪崩&缓存穿透查询附近的人-GEO根据经纬度我们所处的任何位置都可以用经纬度和维度拉标识，经度的范围 -180°到 180°，维度的范围为 -90° 到 90°。维度以赤道为界。赤道以南为负数，赤道以北为整数；经度以本初子午线（英国格林尼治天文台）为界，东边为正数，西边为负数。Redis 在 3.2 版本中增加了 GEO 类型用于存储和查询地理位置，关于 GEO 的命令不多，主要包含以下6个：geoadd：添
2021-06-26 00:44:17
256
1
原创 5redis------------redis 进阶---Redis事务、Redis 管道技术、redis持久化、Redis主从复制、哨兵模式-----全栈式开发43
一、redis 事务介绍前言事务指的是提供一种将多个命令打包，一次性按顺序地执行的机制，并且保证服务器只有在执行完事务中的所有命令机制后，才能继续处理客服端的其它命令。事务也是其它关系型数据库所必备的基础功能，以支付的场景为例，正常情况下只有正常的消费完成之后，才会减去账户余额。但是没有事务的保障，可能会发生消费失败了，但依旧会把账户的余额给扣减了，我想这种情况下应该任何人都无法接受吧？所以事务是数据库中一项非常重要的基础功能。事事务基本使用事务在其它语言中，一般分为以下三个阶段：开启事物—
2021-06-26 00:43:23
163
原创 5redis------------redis基础----Redis介绍、 五大数据类型、redis与python-全栈式开发42
分布式爬虫普通爬虫改成分布式爬虫I/O压力：读写操作 读写压力造成性能上的瓶颈一、Redis介绍背景随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。定义Redis是一个高性能的，开源的，C语言开发的，键值对存储数据的nosql数据库。NoSQL：not only sql，泛指非关系型数据库 Redis/MongoDB/Hbase Hadoop
2021-06-26 00:32:56
123
1
原创 4linux--------linux常用命令------全栈式开发41
安装建立空白，就相当于在这个台电脑下没有安装任何操作系统，新的Ubuntu64位切换出来 Ctrl alt点外面pwd:print word dirls显示当前目录下的文件tree 树状，可以看到子目录tree 目录 只显示该目录的树状结构查看以a开头的 正则 ls a*所有a开头的 ls a?两位当前用户名@主机名:~$~当前所在目录$代表是普通用户#root登陆就是超级管理员颜色区分不准，颜色会变ll展示详细信息 ls -ld开头的就是目录cd ~当前用户
2021-06-25 23:14:01
126
原创 4linux--------操作系统介绍 - 项目前导必备------全栈式开发40
操作系统介绍一、操作系统二、虚拟机软件三、Ubuntu操作系统四、Linux内核及发行版一、操作系统为啥要学linux操作系统项目部署到本地，别人是无法访问到的，所以我们需要项目上线（就是把本地项目放到服务器上运行，但是现在服务器系统大多数的都是linux）操作系统的定义操作系统直接运行在计算机上的系统软件， 它是控制硬件和支持软件运行的计算机程序。作用操作系统是一个控制硬件和支持软件运行的计算机程序，只有安装了操作系统计算机才能进行正常工作。向下控制硬件、向上支持软件的运行，具有
2021-06-22 03:28:17
683
原创 3MySQL数据库-------MySQL规范------全栈式开发39
命名规范表名建议使用有业务意义的英文词汇，必要时可加数字和下划线，并以英文字母开头库、表、字段全部采用小写MySQL 在 Linux 下默认是区分大小写的，而在 Windows 下不区分大小写。因此，防止出现问题，建议都设置为小写。如果代码在windows写单服务器是linux，那么大小写就会出问题避免用 MySQL 的保留字命名（包括表名、列名）禁止超过 30 个字符临时库、表名必须以 tmp 为前缀，并以日期为后缀，如：tmp_shop_info_20190404备份库、表必须以
2021-06-22 03:26:28
215
原创 3MySQL数据库-------MySQL批量插入数据---实例运用------全栈式开发38
批量插入数据函数和存储过程-- 部门表create table dept( id int primary key auto_increment, deptno mediumint not null, dname varchar(20) not null, loc varchar(13) not null)engine=innodb default charset=utf8;-- 员工表create table emp( id int primary ke
2021-06-22 03:13:49
91
原创 3MySQL数据库-------MySQL设计优化 -主从复制、数据库的分区-----全栈式开发37
复制的基本原理主从复制主要解决了什么问题：读写分离，防止主机崩溃i/o线程mysql是异步的串行的，所以会有一定的延迟，i/o操作一定会有延迟复制的三步骤1.master将改变记录到二进制日志。这些记录过程叫做二进制日志事件,binary log events2.slave将master的binary log events拷贝到它的中继日志3.slave重做中继日志relaylog中的事件,将改变应用到自己的数据库中。MySQL复制是异步的且串行的复制的基本原则1.每个slave只有
2021-06-22 02:18:32
200
原创 3MySQL数据库----------SQL语句优化 - 索引、join、order by、limit -全栈式开发36
索引的分类分类的角度索引名称数据结构B+树、Hash索引、B-tree等存储层面聚簇索引、非聚簇索引逻辑索引主键索引、普通索引、复合索引（mysql组合索引和联合索引都是一个东西）唯一索引、空间索引等只需要记住逻辑层面回表从普通索引查出主键索引，然后查询出数据的过程就叫做回表，由于回表需要多执行一次查询，这也就是为什么主键索引要比普通索引要快的原因，所以，我们要尽量使用主键查询-- 数据库表test在两个字段 id(主键)，name，age，addres，
2021-06-18 00:04:54
410
5
原创 3MySQL数据库------MySQL整体优化思路 - 全栈式开发35
一、硬件相关优化在 MySQL 整体的优化环节中，硬件相关的优化必不可少，因此来聊聊这一方面的优化策略（一）CPU相关优化1.关闭 CPU 节能，设定为最大性能模式原因：考虑到在高并发之前没有任何连接的情况，机器可能会处于节电模式，高并发场景来临时可能导致处理不过来新的请求。2.配置合理的 CPU 核数和选择合适的 CPU 主频原因：CPU 核数越多，支持的并发也越高；CPU 主频越高，处理任务的速度越快。（二）内存相关优化1.合理配置数据库服务器内存的大小。内存对 My
2021-06-16 23:22:40
133
原创 3MySQL数据库--MySQL性能检测工具 - explain - showprofile -查询日志- 基准测试- trace- 全栈式开发34
explain是什么使用explain关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句可以观察查询优化器explain能干啥表的读取顺序：根据id字段数据读取操作的操作类型：select_type哪些索引可以使用哪些索引被实际使用表之间的引用每张表有多少行被优化器查询explain怎么使用explain + SQL语句id表的读取顺序select查询的顺序号，包含一组数字，表示查询中执行select字句或操作表的顺序两种情况1.id
2021-06-16 16:36:27
181
原创 3MySQL数据库- 数据库锁- 表锁-行锁-间隙锁 - 全栈式开发33
数据库锁一、数据库锁定义（一）读锁和写锁的区别（二）锁在InnoDB与MyISAM的运用（三）如何锁定一行二、锁的分类（一）表锁（二）行锁（三）间隙锁一、数据库锁定义定义锁是计算机协调多个进程或线程并发访问某一资源的机制事务的也是通过锁来实现的加锁有很好有坏，容易造成阻塞分类表锁行锁间隙锁（一）读锁和写锁的区别先理解读锁与写锁的区别，更好理解表锁与行锁的不同之处读锁加读锁,不会阻塞其他进程对同一表的读请求,但会阻塞对同一表的写请求。只有当读锁释放后,才会执行其他进行的
2021-06-15 06:14:47
373
3
原创 3MySQL数据库- MySQL数据库的架构 - 引擎对比- 全栈式开发32
据库的架构一、数据库的整体架构架构：四层（一）网络连接层多语言提链接（二）服务层第二层服务层是MySQL的核心，MySQL的核心服务层都在这一层，查询解析，SQL执行计划分析，SQL执行计划优化，查询缓存，以及跨存储引擎的功能都在这一层实现：存储过程、触发器、视图等。通过下图来观察服务器的内部结构（三）存储引擎层负责MySQL中数据的存储与提取。服务器中的查询执行引擎通过API与存储引擎进行通讯，通过接口屏蔽了不同存储引擎的差异。MySQL采用插件式的存储引擎。MySQL为我们
2021-06-12 23:53:20
157
3
原创 3MySQL数据库- MySQL高级 - 事务 -索引 - 账户管理 - 全栈式开发31
为什么要有事务事务广泛的运用于订单系统、银行系统等多种场景例如：A用户和B用户是银行的储户，现在A要给B转账500元，那么需要做以下几件事1.检查A的账户余额>5002.A账户汇总扣除500元3.B账户汇总增加500元正常的流程走下来，A账户扣了500元，B账户增加500元，皆大欢喜那如果A账户扣了钱之后，系统出现故障了呢？A白白损失了500，而B也没有收到本 该属于它的500.以上的案例隐藏着一个前提条件...
2021-06-11 03:08:44
336
1
原创 爬取小米应用商城所类目APP -- 进程 - 进程池 - 多线程 - python爬虫案例
爬取的是小米各个应用类目的各个应用信息首先你得明确这是ajax动态加载的，from multiprocessing import Poolimport csvimport requestsimport jsonfrom fake_useragent import UserAgentimport timefrom bs4 import BeautifulSoupclass Spider: def __init__(self,cate_id,name): self.
2021-06-07 23:52:36
706
5
原创 爬取汽车之家图片 - scrapy - crawlspider - python爬虫案例
爬取汽车之家图片需求:爬取汽车之家某一个汽车的图片第一步 页面分析目标url:https://car.autohome.com.cn/photolist/series/265/p1/https://car.autohome.com.cn/photolist/series/265/p2/ 第二页https://car.autohome.com.cn/photolist/series/265/p3/ 第三页观察网页很明显265是该车型的编码页数p1 p2编码观察图片url：
2021-06-07 03:27:35
850
原创 爬取腾讯招聘网站 - scrapy - python爬虫案例
腾讯案例今后用什么方式来爬取数据？ - 先实现功能 - 优化程序是根据自己掌握技术的优先级需求：爬取腾讯招聘岗位 翻页https://careers.tencent.com/search.html?index=1 第一页https://careers.tencent.com/search.html?index=2 第二页https://careers.tencent.com/search.html?index=3 第三页第一步 分析页面目标url。页面是动态加载的，想要爬取的
2021-06-06 17:46:53
795
1
原创 爬取古诗文网站 - scarpy - python爬虫案例
爬取古诗文网站 - scarpy - python爬虫案例需求: 爬取古诗文网站中的 诗词的 标题 作者 朝代 内容 以及翻页 并保存第一步 页面分析‘gushiwen.org’ ‘gushiwen.cn’https://www.gushiwen.cn/default.aspx?page=2 第二页 (无视了)https://www.gushiwen.org/default_1.aspx 第一页https://www.gushiwen.cn/default_2.aspx 第二页ht
2021-06-05 18:16:25
717
原创 Scrapy- 异步爬虫框架-分布式爬虫scrapy-redis-python爬虫知识点8
一、scrapy简介优点可配置、可扩展性非常高比较灵活，让稳定和快速基于异步，内部封装了这个twisted异步网络框架，复杂，采用了大量闭包也提供了可控的速度队列1，保存每一页的url，爬取数据爬取的数据 后保存到队列2中，存放图片的url和名字线程，去队列中get 图片url 并保存文件搭好架子cto 技术总监 架构师ceo二、scrapy 的工作流程引擎–发动机–统筹全局 - 整个框架的核心调度器–接收从引擎发过来的url，入列，一直工作到没有url了爬虫程序：整
2021-06-04 01:55:56
1107
2
原创 简单抢铁路票代码-selenium
简单12306抢票代码利用selenium进行抢票知识点selenium‘stations.csv’ 文件，就是目前你铁路开设的站点和他们代码信息，通过代码将站点信息传送给网页，文件链接，提取码：je47初始化站点：因为出发点和目的地的值是有固定选项的，而传的值value是有独特的代码，所以我们要找到全部代码，能满足将中文输入的地址，返回相应的代码，同时该标签是hidden类型，不能直接用send_keys()import csvfrom selenium import webdriver
2021-05-25 22:20:25
1980
2
原创 解析网页-selenium-非常实用-python爬虫知识点7
selenium的使用一、引入爬虫和反爬虫的斗争二、selenium背景静态网页与ajax动态加载以前爬取的网页都是静态的网页何为静态网页，其实就是我们向一个网站发起请求得到响应，那么这些响应的数据都是网页的源代码中，通过response就可以得到数据除了静态网页，还有一些网站数数据不在这个请求得到url地址当中，那么这些护具有可能是通过ajax技术加载出来的数据，例如12306的班次的信息不在url中，查询的内容只是对网页的部分内容更新，这个就是ajax动态加载出来的element是
2021-05-21 17:04:34
2508
原创 爬取各城市的天气 - BeautifulSoup - python
爬取各城市的天气参考的数据来源：http://www.weather.com.cn/textFC/hb.shtml一、BeautifulSoup这个方法最简单import requestsimport csvheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36
2021-05-11 20:27:56
332
原创 3MySQL数据库-连接python-实现DB类 - 全栈式开发30
MySQL与Python交互一、关系图二、python实现操作数据库安装pymysql : pip install pymysql操作步骤（一）connect() 建立链接⽤于建⽴与数据库的连接conn=connect(host, port, database, user, password, charset)host：连接的mysql主机，如果本机是’localhost’ 或者填‘127.0.0.1’port：连接的mysql主机的端⼝，默认是3306database：数据
2021-05-11 02:17:49
125
原创 3MySQL数据库-SQL语句下-⾃关联-外键-分表-视图 - 全栈式开发29
⾃关联----属于查询的那一部分可以简单的理解为⾃⼰与⾃⼰进⾏连接查询。⽐如： ⼀张 areas 表⾥⾯有省市区，我们需要在通过这⼀张表查询某省对应的所有市外键myisam 不支持外键 innoDB支持为了保证数据的一致性...
2021-05-11 01:08:39
267
3
原创 SQL语言那些报错
defaultInvalid default value for ' 字段名'枚举类的，有中文字，在建立数据库或表的时候要设置 charset = utf8DECIMAL，
2021-05-09 02:13:50
279
1
原创 解析网页--BeautifulSoup-bs4-python爬虫知识点6
BeautifulSoup一、BeautifulSoup基本信息定义主要学bs4.BeautifulSoup，bs4内的一个非常好用的模块，美丽的汤，bs4：Beautiful Soup4Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库安装pip install lxmlpip install bs4作用解析网页和提取网页的数据PC端 网站中爬出数据 每一个网站都有自己的开发准则，只有多多掌握多种解析网页的技术，才能找到最合适的技术最重
2021-05-08 19:50:59
711
原创 3MySQL数据库-SQL语句上-DDL-DML-全栈式开发28
SQL语句一、DDL语言`SELECT``USE``SHOW``CREATE``DESC``DROP`二、DML语言（一）ALTER改变字段` ADD``MODIFY 与 CHANGE``DROP`（二）增、改、删表数据` INSERT 添加数据`` UPDATE 更新数据`` DELETE 删除数据 与 逻辑删除`，（三）SELECT查询数据一、DDL语言创建数据库，首先得定义数据库名，表的结构DDL语言：数据定义语言，这些语句创建不同数据段、数据库、表、列、索引等数据库对象链接数据库cm
2021-05-06 22:31:24
189
原创 3MySQL数据库- SQL语言基础 - 全栈式开发27
SQLSQL介绍SQL是结构化查询语言，是一种永凯操作RDBMS（关系型数据库管理系统）的数据库语言，当前关系型数据库都支持试用SQL语言进行操作，也就是说可以通过SQL操作oracle、sql server、mysql等关系型数据库SQL语言主要分类DDL语言：数据定义语言，这些语句定义了不同数据段、数据库、表、列、索引等数据库对象DML语句：数据操作语句，用于添加、删除、更新和查询数据库记录毛病检查数据完整性DCL语句：数据控制语句，用于控制不同数据段直接许可和访问级别的语句数据完
2021-05-05 19:10:07
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人