- 博客(11)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 用python爬取链家二手房信息，并把数据存入mongodb
爬取网站：https://gz.lianjia.com/ershoufang/pg爬取链家二手房信息，数据存mongodb，代码如下：import requestsfrom fake_useragent import UserAgentfrom lxml import etreeimport timeimport randomfrom pymongo import MongoClientclass LianjiaSpider(object): def __init__(self
2020-05-21 21:00:59
34512
2
原创 PostgreSQL：十八. 内部结构
十八. 内部结构18.1 PostgreSQL的内部概述1、查询经过的路径建立连接分析器阶段重写系统规划器/优化器执行器阶段2、如何建立连接PostgreSQL是用一个简单的“每用户一进程”的client/server模型来实现的。在这种模式里，一个客户端进程只与一个服务器进程连接，由于不知道具体要建立多少个连接，所以不得不利用一个主进程在每次连接请求时都派生出一个新的服务器进程来，这个主进程叫做postgres，它监听着一个特定的TCP/IP端口等待进来的连接。主进程每当检测到一个
2020-05-21 09:41:52
32973
原创 PostgreSQL：十七. 服务器配置与数据库监控
十七. 服务器配置与数据库监控17.1 服务器配置1、服务器配置的文件在数据库集群中，有3个配置文件，分别是：postgresql.conf，pg_hba.conf和pg_ident.conf。其中postgresql.conf为服务器主要的配置文件，pg_hba.conf是客户端认证配置文件，pg_ident.conf用来配置哪些操作系统用户可以映射为数据库用户。2、连接与认证3、资源消耗服务器的运行会消耗一定的资源，通过设置服务器的参数，可以提示服务器的性能。包括内存、自由空间映射、内核资源
2020-05-19 20:35:03
32692
原创 PostgreSQL：十六. 高可用、负载均衡和数据复制
十六. 高可用、负载均衡和数据复制16.1 常见的数据同步解决方案共享磁盘故障转移文件系统复制事务日志基于语句的复制异步复制同步复制16.2 日志传送备用服务器1、日志传送概述使用日志传送，有以下几点好处。无需昂贵的软件或硬件即可实现冗余故障转移系统。备用服务器可以用于其它用途。而不必长期闲置。例如，当辅助数据库因处理进入的日志文件而处于不可访问状态时，可以在备用服务器上运行另一个独立数据库。一旦设置好，配置成本相对低廉并且易于维护。有非常可靠的方法用于提供数据库的冗余副本
2020-05-17 10:31:30
33271
原创 PostgreSQL：十五. 性能优化
十五. 性能优化优化简介：PostgreSQL优化一方面是找出系统的瓶颈，提高PostgreSQL数据库整体的性能；另一方面，需要合理的结构设计和参数调整，以提高用户操作响应的速度；同时还要尽可能的节省系统资源，以便系统可以提供更大负荷的服务。PostgreSQL数据库优化是多方面的，原则是减少系统的瓶颈，减少资源的占用，增加系统的反应速度。例如：通过优化文件系统，提高磁盘IO的读写速度；通过优化操作系统调度策略，提高PostgreSQL的在高负荷情况下负载能力；优化表结构、索引、查询
2020-05-14 18:55:12
37699
原创 PostgreSQL：十四. 数据备份与还原
十四. 数据备份与还原14.1 数据备份1、使用pgAdmin 4 备份数据库2、使用pg_dump工具备份数据库【例14.1】备份test数据库中的tb_emp表和tb_emp2表，输入语句如下：pg_dump -U postgres -t tb_emp -t tb_emp2 -f C:\abc\test_backup2 test3、使用pg_dumpall工具备份整个服务器的数据【例14.2】使用pg_dumpall备份所有的数据库，其操作和pg_dump类似，这里不再重述，输入语句如下
2020-05-13 13:56:38
33578
原创 PostgreSQL：十三. PostgreSQL的用户管理
十三. PostgreSQL的用户管理13.1 组角色管理【例13.1】创建一个名称为post2的角色，SQL代码如下：CREATE ROLE post2;【例13.2】查看系统中的角色，SQL代码如下：SELECT rolname FROM pg_roles;【例13.3】修改角色post1的名称为post3。SQL语句如下：ALTER ROLE post1 RENAME TO post3;【例13.4】删除角色post3。SQL语句如下：DROP ROLE post3;13.
2020-05-12 12:59:22
34553
原创 PostgreSQL：十二. 事务处理与并发控制
十二. 事务处理与并发控制PostgreSQL提供了多种数据完整性的保证机制，如约束、触发器、约束和锁管理等。12.1 事务管理简介事务是PostgreSQL中的基本工作单元，是用户定义的一个数据库操作序列，这些操作要么全做要么全不做，是一个不可分割的工作单位。事务的属性：原子性（Atomic）:事务必须是原子工作单元；对其数据修改，要么全执行，要么全不执行。一致性（Consistent）:事务在完成时，必须使所有的数据都保持一致状态。隔离性（Isolated）:由并发事务所做的修改必须与任
2020-05-12 12:54:36
32726
原创 PostgreSQL：十一. 触发器
十一. 触发器11.1 什么是触发器和触发器函数触发器：一个触发器是一种声明，告诉数据库应该在执行特定的操作时执行特定的函数。触发器函数：是指一个没有参数并且返回trigger类型的函数。11.2 创建触发器【例11.1】创建一个触发器，使得每次该表有新数据insert时，其中的一个时间字段uptime自动变更为当前时间。首先创建一个用于测试的数据表，SQL语句如下：CREATE TABLE timedb (uid INTEGER,gid INTEGER,uptime timestamp wi
2020-05-10 11:10:35
33164
原创 PostgreSQL: 十. 视图
十. 视图10.1 视图概述1、视图是一个虚拟表，是从数据库中一个或多个表中导出来的表。2、视图的作用：简单化，经常使用的查询可以被定义为视图，用户不必为以后的操作每次指定全部的条件；安全性，通过视图，用户只能查询和修改他们能见到的数据；逻辑数据独立性，视图可帮助用户屏蔽真实表结构变化带来的影响。10.2 创建视图【例10.1】在数据t上创建一个名为view_t的视图，代码如下...
2020-05-08 13:17:20
33603
原创 PostgreSQL: 九. 索引
九. 索引9.1 索引简介1、索引概念：索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可以提高数据库中特定数据的查询速度。2、索引的分类：B-tree索引：比较常用，适合处理能够按顺序存储的数据,可以使用create index创建；Hash索引：只能处理简单的等于比较；GiST索引：不是单独的一种索引类型，而是一种架构，可以在这种架构上实现很多不同的索引策略；GIN...
2020-05-07 13:56:58
32825
用Panda3D开发3D枪战类游戏源码，脚本可以直接运行
2023-06-13
用python3实现AI人脸识别签到打卡系统（压缩包中源码可直接运行）
2023-06-13
用python3实现个人博客系统，脚本可以直接运行 （所用技术：Flask、TinyDB）
2023-06-13
用python3实现民宿信息可视化系统
2023-06-13
用python3实现在线生鲜商城系统，脚本可以直接运行
2023-06-13
用python3实现基于深度学习的AI人脸识别系统，脚本可以直接运行（包括源码文件、数据文件）
2023-06-10
用python3实现招聘信息实时数据分析系统，包括数据文件、爬虫文件、部署文件等
2023-06-10
用python3实现房产价格数据可视化分析系统（包括采集房产的脚本、数据可视化脚本）
2023-06-10
用python3实现动态验证码，脚本可以直接运行
2023-06-08
用python3实现轻松背单词程序，代码可直接运行
2023-06-08
炫酷时钟动态案例，web浏览器打开index.html即可看到动态效果
2023-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人