- 博客(12)
- 收藏
- 关注
RSS订阅原创 linux df du ls 命令详解
ls的用法ls -l |grep “^-”|wc -l或find ./company -type f | wc -l 查看某文件夹下文件的个数，包括子文件夹里的。ls -lR|grep “^-”|wc -l 查看某文件夹下文件夹的个数，包括子文件夹里的。ls -lR|grep “^d”|wc -l说明：ls -l 长列表输出该目录下文件信息(注意这里的文件，不同于一般的文件，可能是...
2018-11-22 11:50:39
450
原创 hive 锁表 解决方法
hive表执行insert overwrite table_a partition(dt=‘20181121’) select * from table_b 时，报错FAILED: Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some timeorg.apa...
2018-11-22 11:24:56
3476
原创 Sqoop 各参数详解
转载sqoopSqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到Ha...
2018-11-18 19:50:15
1858
原创 sqoop 导入数据到hive分区表（外表，内表） 指定分区 指定数据库 指定表
sqoop 导入数据到hive1.1.导入数据到hive分区表（内表），指定分区创建hive分区表–hive-database 指定数据库–table 指定表–hive-overwrite 覆盖已有表中的数据从mysql导入数据到hive，导入的hive的默认数据库bin/sqoop import --connect jdbc:mysql://180.150.188.119:3...
2018-11-18 19:21:03
8609
原创 Sqoop 介绍 安装 应用
Sqoop 介绍 安装 应用总体介绍Sqoop简单介绍1.1 概述作用：导入导出数据sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库1.2 工作机制本质利用mapreduce来实现...
2018-11-17 23:55:54
214
原创 Azkaban 安装及简单使用
Azkaban 安装及简单使用安装大体过程：1 Azkaban安装部署准备工作Azkaban Web服务器azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器azkaban-executor-server-2.5.0.tar.gzMySQL目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立...
2018-11-17 13:37:17
242
原创 Flume中的HDFS Sink配置参数说明
完全引用原文原文channeltypehdfspath写入hdfs的路径，需要包含文件系统标识，比如hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值：FlumeData写入hdfs的文件名前缀，可以使用flume提供的日期及%{host}表达式。fileSuffix写...
2018-11-13 23:03:16
112
原创 flume 安装及应用
1. 日志采集框架Flume1.1 Flume介绍1.1.1 概述Flume是一个数据搬运工，侧重于数据的搬运，而不是数据处理Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配...
2018-11-11 00:03:46
578
原创 python3.5 连接hive（hive有密码并且集群Kerberos认证） 基本使用 pyhive
1.安装相关依赖目前python3连接hive的方法主要是使用pyhive包，但是要安装pyhive也不是那么容易的事情，因为pyhive要使用系统底层模块，所以就要先安装对应的模块。sudo yum install cyrus-sasl-develsudo yum install gcc-c++pip3 install saslpip3 install thriftpip3 ins...
2018-11-10 22:59:34
5145
原创 DB、ETL、DW、OLAP、DM、BI关系结构图
发现一篇好文，后期整理，目前是全文引用参考链接DB、ETL、DW、OLAP、DM、BI关系结构图DB、ETL、DW、OLAP、DM、BI关系结构图在此大概用口水话简单叙述一下他们几个概念：（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看...
2018-11-10 21:38:03
663
原创 Hive 简单应用
一 Hive 使用方式1.1.Hive shell直接在hive的安装目录下，然后输入hql语句就可以了bin/hive1.2.通过Hive thrift服务启动，启动后可以远程连接启动为前台：bin/hiveserver2启动为后台：(1代表标准输出，2代表错误输出，标准输出和错误输出分别重定向到不同的日志文件)nohup bin/hiveserver2 1>/var/l...
2018-11-09 00:24:39
192
原创 hive 安装与配置 用mysql存储元数据
安装配置mysql安装配置hive一 mysql 安装配置一、Mysql安装1、安装mysql命令:yum install mysql-server -y （-y参数作用为所有需要输入yes的地方默认yes）2、打开mysql服务:service mysqld start3、设置mysql服务开机自启动（也可以不设置，开机手动启动):chkconfig --add mysq...
2018-11-01 00:32:14
599
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人