数据库
「已注销」
,,
展开
-
小企业免费BI解决方案之在线---OLAP(Ubuntu系统下使用conda安装部署---superset)
小企业免费BI解决方案之在线—OLAP为了搭建一个测试版在线OLAP,我采用了以下方案:使用django快速搭建一个管理后台,使用系统默认admin,(第三方xadmin更优).使用python免费开源的发行版anaconda搭建jupyter,可以直接使用numpy,pandas,matplotlib进行数据清洗,抽取导出在线(现场展示更好)使用免费开源的supersetdj...原创 2019-07-13 22:04:33 · 553 阅读 · 0 评论 -
Hive-基本概念
hive1-hive简介1.1什么是 HiveHive 由 Facebook 实现并开源,是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能,底层数据是存储在 HDFS 上。Hive 本质: 将 SQL 语句转换为 MapReduce 任务运行,使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计...原创 2019-09-03 19:38:05 · 900 阅读 · 0 评论 -
mysql-补充
mysql 新手必知必会1–SQLSQL语句结构结构化查询语言包含6个部分:一:数据查询语言(DQL:Data Query Language):其语句,也称为“数据检索语句”,用以从表中获得数据,确定数据怎样在应用程序给出。保留字SELECT是DQL(也是所有SQL)用得最多的动词,其他DQL常用的保留字有WHERE,ORDER BY,GROUP BY和HAVING。这些DQL保留字常...原创 2019-08-22 20:37:43 · 257 阅读 · 0 评论 -
python系列之搜索引擎原理与开发流程(Elasticsearch)
Elasticsearch简介与原理You know, for search!文档 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.htmlElasticsearch是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多用户的全文搜索引擎,具有HTTP Web接口和无模式JSON文档。所有其他语...原创 2019-07-20 19:01:48 · 530 阅读 · 0 评论 -
python系列之面试者福音
Table of ContentsPython语言特性1 Python的函数参数传递2 Python中的元类(metaclass)3 @staticmethod和@classmethod4 类变量和实例变量5 Python自省6 字典推导式7 Python中单下划线和双下划线8 字符串格式化:\x和.format9 迭代器和生成器10 *args and **kwarg...原创 2019-07-17 21:59:47 · 2215 阅读 · 0 评论 -
redis系列之-更新问题解决方案(数据一致性校正)
redis系列之-更新问题解决方案redis做缓存减轻mysql数据库压力的同时,更新会产生双库数据不一致的情况,我这里采取的方案是:mysql更新数据后,删除redis缓存(这也是大多数企业采用的),用户下次访问时没有命中缓存,会去访问mysql,并产生新的redis缓存.虽然在大多数情况下是安全的,但并不是绝对安全,也会产生不一致情况,所以要进行定时数据校正.策略:先到mys...原创 2019-07-16 23:59:12 · 3204 阅读 · 0 评论 -
redis系列之--定时更新校正器(APScheduler)
1.APScheduler使用APScheduler (advanceded python scheduler)是一款Python开发的定时任务工具。文档地址 https://apscheduler.readthedocs.io/en/latest/userguide.html#starting-the-scheduler特点:不依赖于Linux系统的crontab系统定时,独立运行...原创 2019-07-16 18:30:47 · 1522 阅读 · 0 评论 -
redis系列之--数据结构设计
redis系列之–数据结构设计redis数据结构和常用操作String -->语法格式:key value 可理解为{key:value}记录字符串/整数/浮点数命令set 添加/修改数据get 获取数据mset 添加多个数据mget 获取多个数据incr 计数加1decr 计数减1incrby 计数加n键命...原创 2019-07-16 16:38:17 · 762 阅读 · 0 评论 -
redis系列之--持久化
redis系列之持久化1 RDB 快照存储将内存中的所有数据完整的保存到硬盘中机制fork出一个子进程,专门进行数据持久化, 将内存中所有数据保存到单个rdb文件中(默认为dump.rdb)redis重启后, 会加载rdb文件中的数据到内存中触发方式配置中设置自动持久化策略SAVE | BGSAVE | SHUTDOWN (前提是设置了自动持久化策略)相关配置...原创 2019-07-16 15:55:24 · 152 阅读 · 0 评论 -
redis系列之--事务
redis系列之–事务语法MULTI开启事务, 后续的命令会被加入到同一个事务中事务中的操作会发给服务端, 但是不会立即执行, 而是放到了该事务的对应的一个队列中, 服务端返回QUEUEDEXEC执行EXEC后, 事务中的命令才会被执行事务中的命令出现错误时, 不会回滚也不会停止事务, 而是继续执行DISCARD取消事务, 事务队列会清空, 客户端退出事务状态...原创 2019-07-16 15:44:35 · 143 阅读 · 0 评论 -
redis系列之-集群搭建
redis集群搭建多个节点共同保存数据作用扩展存储空间提高吞吐量, 提高写的性能和单机的不同不再区分数据库, 只有0号库, 单机默认0-15不支持事务/管道/多值操作特点要求至少 三主三从要求必须开启 AOF持久化自动选择集群节点进行存储默认集成哨兵, 自动故障转移相关配置编写节点配置文件(至少6个节点)# ...原创 2019-07-15 16:34:16 · 143 阅读 · 0 评论 -
redis系列之--哨兵机制搭建
作用监控redis服务器的运行状态, 可以进行自动故障转移(failover), 实现高可用与 数据库主从 配合使用的机制特点独立的进程, 每台redis服务器应该至少配置一个哨兵程序监控redis主服务器的运行状态出现故障后可以向管理员/其他程序发出通知针对故障,可以进行自动转移, 并向客户端提供新的访问地址流言协议当某个哨兵程序ping...原创 2019-07-15 16:06:51 · 274 阅读 · 0 评论 -
redis系列之--主从master/slave
redis系列之–master/slave作用数据备份读写分离特点只能一主多从配置主从配置差不多,主要区别:主从节点分别配置ip/端口从节点需要设置slaveof# 主从数据库分别配置ip/端口 我这里用的是一个节点配置主从测试# 主从ip可能一样可能不一样bind 127.0.0.1 # 主从在一个节点上不可以一样port 637...原创 2019-07-15 15:49:27 · 478 阅读 · 0 评论 -
redis系列之--缓存方案(python)
缓存方案缓存介绍作用减小数据库的访问压力, 提高并发能力多级缓存本地缓存/一级缓存flask-cache安装 pip install flask-cache选择simple类型, 可以实现对响应的内存缓存https://www.cnblogs.com/cwp-bg/p/9687005.html项目中的应用一般不设置一级缓存内存缓存会影响web...原创 2019-07-15 15:24:03 · 2024 阅读 · 0 评论 -
redis系列之--redis安装(linux环境)
redis系列之 ----安装软件源redis最新稳定版本下载链接: http://download.redis.io/releases/redis-4.0.10.tar.gzstep1:下载cd Desktop/wget http://download.redis.io/releases/redis-4.0.10.tar.gz* step2:解压 tar -zxv...原创 2019-07-13 23:18:32 · 222 阅读 · 0 评论 -
Hive-基本操作
Hive 基本操作1-Hive HQL基本操作2-Hive的内部表和外部表3-分区表1-Hive HQL基本操作创建数据库CREATE DATABASE test;显示所有数据库SHOW DATABASES;创建表CREATE TABLE student(classNo string, stuNo string, score int) row format ...原创 2019-09-03 20:03:34 · 546 阅读 · 0 评论