大数据
文章平均质量分 62
maxmao1024
这个作者很懒,什么都没留下…
展开
-
mac 搭建hadoop伪分布式
公司因为业务需求使用Hbase存储和分析数据。在mac上搭建hadoop伪分布式,记录过程如下。准备工作: - 安装brew - 安装java开发环境1. 安装brew install hadoop hadoop version # 查看安装版本, 目前默认安装版本是 3.0.02. 配置进入配置目录 cd /usr/local/Cellar/hadoo...原创 2017-12-19 23:44:46 · 1516 阅读 · 0 评论 -
mac环境 安装和使用sqoop
1. 安装和配置brew install sqoop sqoop versioncd /usr/local/Cellar/sqoop/1.4.6/libexec/confcp sqoop-env-template.sh sqoop-env.shvim sqoop-env.sh export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0...原创 2018-03-08 00:12:11 · 1592 阅读 · 0 评论 -
数据仓库简介
1. 定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合面向主题:数据仓库的设计和实现围绕主题展开集成的:所有与数据仓库主题相关的数据(业务数据库,业务日志等)都集中加载到数据仓库随时间变化:最新生成的数据按照设置的周期定时加载到数据仓库相对稳定:源数据加载成功后,一般不会修改,只执行查询操作2. 目标从数据中挖掘价值,为决策提供依据分析用户行为...原创 2018-11-12 23:33:31 · 405 阅读 · 0 评论 -
Python 连接 Hive
安装组件pip install saslpip install thriftpip install thrift-saslpip install pyhivedemofrom pyhive import hiveconn = hive.Connection(host="xxx.xxx.xxx.xxx", port=10000, username="root", databa...原创 2018-11-20 11:21:07 · 183 阅读 · 0 评论 -
MongoDB进阶——高级查询和聚合统计(aggregate)
MongoDB初识——安装连接(centos)https://blog.csdn.net/maxmao1024/article/details/84426836MongoDB入门——增删改查https://blog.csdn.net/maxmao1024/article/details/845286491. 数据准备> use test> db.event.drop()&...原创 2018-11-27 22:51:39 · 30173 阅读 · 1 评论 -
MongoDB初识——安装连接(centos)
1. 安装1.1 把Mongo的安装配置添加的yum中vi /etc/yum.repos.d/mongodb-org-3.4.repo添加以下内容[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.4/x86_64/gpg...原创 2018-11-24 10:14:52 · 620 阅读 · 0 评论 -
MongoDB入门——增删改查
centos下的 MongoDB 安装和使用这一节介绍一下 MongoDB 基本的使用方法,增删改查。首先简单说明一下 mongo 的三层逻辑存储结构:数据库(db), 集合(collection), 文档(document)数据库包含多个集合,集合包含多个文档,文档以Json格式存储。和关系型数据库的对应关系如下MongDBMysql数据库数据库集合表...原创 2018-11-26 10:52:51 · 795 阅读 · 0 评论 -
hive执行报错:Both left and right aliases encountered in JOIN
原因:两个表join的时候,不支持两个表的字段 非相等 操作。可以把不相等条件拿到 where语句中。SELECT * FROM T1LEFT JOIN T2 on T1.id=T2.id and T1.name != T2.name...转载 2018-12-11 21:38:37 · 7972 阅读 · 0 评论