数据库
文章平均质量分 67
maxmao1024
这个作者很懒,什么都没留下…
展开
-
mac环境 安装和使用sqoop
1. 安装和配置brew install sqoop sqoop versioncd /usr/local/Cellar/sqoop/1.4.6/libexec/confcp sqoop-env-template.sh sqoop-env.shvim sqoop-env.sh export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0...原创 2018-03-08 00:12:11 · 1610 阅读 · 0 评论 -
MongoDB进阶——高级查询和聚合统计(aggregate)
MongoDB初识——安装连接(centos)https://blog.csdn.net/maxmao1024/article/details/84426836MongoDB入门——增删改查https://blog.csdn.net/maxmao1024/article/details/845286491. 数据准备> use test> db.event.drop()&...原创 2018-11-27 22:51:39 · 30250 阅读 · 1 评论 -
线上事故反思
16年刚开始工作的时候,因为误操作数据库造成了线上事故。当时进行了总结反思,现在回头再看,有了新的感悟和思考(细体为16年记录,粗体为近期更新)制度问题:这是当时我忽视的一点,现在来看,恰恰是最重要的一点。是人总会犯错误,稳定性和可靠性必须建立在正确合理的制度之上,通过制度的规范发现和纠正人的错误。就误操作线上数据库这一事件而言简单的制度应该是:限制开发人员对线上数据库的操作权限(理论...原创 2018-12-02 18:21:25 · 1973 阅读 · 1 评论 -
MongoDB入门——增删改查
centos下的 MongoDB 安装和使用这一节介绍一下 MongoDB 基本的使用方法,增删改查。首先简单说明一下 mongo 的三层逻辑存储结构:数据库(db), 集合(collection), 文档(document)数据库包含多个集合,集合包含多个文档,文档以Json格式存储。和关系型数据库的对应关系如下MongDBMysql数据库数据库集合表...原创 2018-11-26 10:52:51 · 820 阅读 · 0 评论 -
MongoDB初识——安装连接(centos)
1. 安装1.1 把Mongo的安装配置添加的yum中vi /etc/yum.repos.d/mongodb-org-3.4.repo添加以下内容[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.4/x86_64/gpg...原创 2018-11-24 10:14:52 · 654 阅读 · 0 评论 -
数据仓库简介
1. 定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合面向主题:数据仓库的设计和实现围绕主题展开集成的:所有与数据仓库主题相关的数据(业务数据库,业务日志等)都集中加载到数据仓库随时间变化:最新生成的数据按照设置的周期定时加载到数据仓库相对稳定:源数据加载成功后,一般不会修改,只执行查询操作2. 目标从数据中挖掘价值,为决策提供依据分析用户行为...原创 2018-11-12 23:33:31 · 431 阅读 · 0 评论 -
mysql 未提交事务问题定位和解决 (pymysql的autocommit)
起因:下午同事在修改表结构时,发现修改语句被阻塞无法执行。查询后发现有几个事务已经执行了几个小时,一直没有提交,修改表结构的操作必须等待所有已经开启的事务提交后才能执行。查看事务 select * from information_schema.INNODB_TRX\G; 查看线程 SELECT * FROM information_schema.processlist;只能...原创 2018-03-15 23:45:30 · 9153 阅读 · 0 评论 -
Mac上Hive环境搭建
[原文链接](https://www.cnblogs.com/micrari/p/7067968.html)本文介绍在Mac上搭建Hive环境。建议首先配置好Hadoop,搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置。当然你也可以选择使用Docker搭建环境,本文不作介绍。安装对于MacOs,推荐使用HomeBrew安装hive,一步到位。$ brew install...转载 2018-02-23 10:52:36 · 1029 阅读 · 0 评论 -
[Mac] 记录使用Homebrew安装Mysql全过程
环境操作系统:macOS Sierra Version 10.12.1 Homebrew:1.1.7步骤安装Homebrew,详细步骤参见Homebrew官网。brew doctor确认brew在正常工作。brew update更新包。brew ins...转载 2018-02-22 17:11:32 · 235 阅读 · 0 评论 -
hive执行报错:Both left and right aliases encountered in JOIN
原因:两个表join的时候,不支持两个表的字段 非相等 操作。可以把不相等条件拿到 where语句中。SELECT * FROM T1LEFT JOIN T2 on T1.id=T2.id and T1.name != T2.name...转载 2018-12-11 21:38:37 · 8132 阅读 · 0 评论