RobertDowneyLm的博客

一、mysql中的编码mysql> show variables like 'collation_%';  mysql> show variables like 'character_set_%';  缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database db_name character set utf8;修改表的编码：mysql&g...

/** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fields-terminated-by ',' \--table emp \--spl...

sqoop数据迁移工具1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对i...

2018-05-19,唐尼,钢铁侠,360应用,纽约,v2.02018-05-19,唐尼,钢铁侠,360应用,纽约,v1.22018-05-19,唐尼,钢铁侠,360应用,纽约,v2.02018-05-19,唐尼,钢铁侠,360应用,纽约,v1.22018-05-19,唐尼,钢铁侠,安卓市场,纽约,v1.62018-05-19,唐尼,钢铁侠,360应用,纽约,v1.32018-05-1...

APP数据模拟处理流程—[次日留存用户]/*留存用户分析概念:昨日新增，今天还活跃逻辑思路：昨天在新用户表，今天在活跃用户表之中 ---->今日的次日留存用户 昨天在新用户表的人，今天还在活跃用户表中*/--数据建模 -->> 纪录跟活跃用户表相同的字段--建次日留存etl信息表：纪录跟活跃用户表相同的字段create tabl...

#!/bin/bashday_str=`date -d '-1 day' +'%Y-%m-%d'`inpath=/app-log-data/data/$day_stroutpath=/app-log-data/clean/${day_str}-cleanhive_exec=/root/apps/hive-1.2.1/bin/hiveecho "准备清洗$day_str数据......"/root/...

1.进行数据清理 MapReduce#!/bin/bashday_str=`date -d '-1 day' + '%Y-%m-%d'`inpath=/app-log-data/data/$day_stroutpath=/app-log-data/clean/${day_str}-cleanecho "准备清洗$day_str数据..."/root/apps/hadoop-2.8.3/bin/ha...

 flume两级串联配置案例tail-avro.conf：从tail命令获取数据发送到avro端口另一个节点可配置一个avro源来中继数据，发送外部存储################### Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/config...

flume配置案例dir-hdfs.conf：#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1# 配置source组件ag1.sources.source1.type = spooldirag1.sources.source1.spoolDir = /root/log/ag1.sourc...

HBASE客户端API操作DDL代码：package cn.edu360.hbase.demo;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop....

1.  HBASE1.1. 1/ 什么是HBASE1.1.1.  概念特性HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）l  Hbase的表模型与关系型数据库的表模型不同：l  Hbase的表没有固定的字段定义；l  Hbase的表中每行存储的都是一些key-v...

error 错误while 当compiling 编译过程中statement: 语句failed 失败的semantic 语法的exception 异常line  行table 表not found 找不到tiny 微小的char 字符Loading 加载中data 数据from 从....file 文件fire 火，开火，发射recognize 识别<EOF>  没有正确结束pro...

1.  hive函数使用小技巧：测试函数的用法，可以专门准备一个专门的dual表create table dual(x string);insert into table dual values(''); 其实：直接用常量来测试函数即可select substr("abcdefg",1,3); hive的所有函数手册：https://cwiki.apache.org/confluence/disp...

1.  hive查询语法提示：在做小数据量查询测试时，可以让hive将mrjob提交给本地运行器运行，可以在hive会话中设置如下参数：hive> set hive.exec.mode.local.auto=true;1.1. 基本查询示例select * from t_access;select count(*) from t_access;select max(ip) from t_ac...