wjl7813的博客

原创 sqoop基础之MySQL与 hive之间的数据迁移

=== 在同时对应的hive中如下表create table users(id int,name string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;create table tags(id int,user_id int,tag string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;...

原创 sqoop 基础

Sqoop产生背景 1) RDBMS ==> Hadoop  file ==> load hive  shell ==> file ==> HDFS  MapReduce: DBInputFormat TextOutputFormat 2) Hadoop ==> RDBMS  MapReduce: TextInputFormat DBOutputFormat 存在的问...

原创 spark 1.6.x 读取操作 CSV文件

package demo.sparksqlimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.{SparkConf, SparkContext}/** * Created by joy on 2017/8/25. */...

原创 hive 数据压缩与存储格式选择

概述为什么会出现需要对文件进行压缩？ 在Hadoop中，文件需要存储、传输、读取磁盘、写入磁盘等等操作，而文件的大小，直接决定了这些这些操作的速度。常见压缩方式、压缩比、压缩解压缩时间、是否可切分原文件：1403MSnappy 压缩：701M，压缩时间：6.4s，解压时间：19.8s，不可切分LZ4 压缩：693M，压缩时间：6.4s，解压时间：2.36s，不可切分LZO 压缩：684M，压缩时间...

原创 hive 外部表 创建示例

hdfs  dfs -mkdir -p /external/sr/sr_createdhdfs  dfs -mkdir -p /external/sr/sr_assignhdfs  dfs -mkdir -p /external/sr/sr_cancelledhdfs  dfs -mkdir -p /external/sr/sr_handlehdfs  dfs -mkdir -p /externa...

原创 hive 数据加载的几种方式 和数据导出方式

=====  hive 数据加载方式LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]load data [local] inpath 'filepath' [overwrite] into table tablenam...

原创 hive 1.x 版本 编译 安装配置及遇到的一些问题

原创 基于haproxy +keepalived 的 percona xtradb cluster 安装配置

Percona XtraDB cluster 安装与运维维护安装准备工作 [root@pxc3 ~]# cat /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdoma

原创 spark 1.6.x 操作 MySQL的几种方式

（1）方式一 package com.wjl7813import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.SQLContextimport java.util.Properties/** * Created by 92421 on 2018/3/2. */object Ope...