排序:
默认
按更新时间
按访问量

MySql编码问题

一、mysql中的编码mysql> show variables like 'collation_%';  mysql> show variables like 'character_set_%';  缺省是latin1编码,会导致中文乱码。修改库的编码...

2018-05-21 21:05:16

阅读数:1969

评论数:0

sqoop各类命令示范笔记

/** 将mysql的表导入 hdfs **/ bin/sqoop import \ --connect jdbc:mysql://hdp-04:3306/userdb \ --username root \ --password root \ --target-dir \ /sqooptest...

2018-05-21 21:00:35

阅读数:1814

评论数:0

sqoop数据迁移工具

sqoop数据迁移工具1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据:从Hadoop的文件系统中导出数据到关系数据库mysql等 1....

2018-05-21 20:56:14

阅读数:1990

评论数:0

APP数据模拟处理流程—[窗口分析函数]

2018-05-19,唐尼,钢铁侠,360应用,纽约,v2.0 2018-05-19,唐尼,钢铁侠,360应用,纽约,v1.2 2018-05-19,唐尼,钢铁侠,360应用,纽约,v2.0 2018-05-19,唐尼,钢铁侠,360应用,纽约,v1.2 2018-05-19,唐尼,钢铁侠,安卓市...

2018-05-21 20:49:19

阅读数:1834

评论数:0

APP数据模拟处理流程—[次日留存用户]

APP数据模拟处理流程—[次日留存用户]/* 留存用户分析 概念:昨日新增,今天还活跃 逻辑思路:昨天在新用户表,今天在活跃用户表之中 ---->今日的次日留存用户 昨天在新用户表的人,今天还在活跃用户表中 */ --数据建模 --&...

2018-05-21 20:40:20

阅读数:1007

评论数:0

APP数据模拟处理流程—[shell脚本]

#!/bin/bashday_str=`date -d '-1 day' +'%Y-%m-%d'`inpath=/app-log-data/data/$day_stroutpath=/app-log-data/clean/${day_str}-cleanhive_exec=/root/apps/h...

2018-05-20 23:10:01

阅读数:3542

评论数:0

APP数据模拟处理流程—[总结篇]

1.进行数据清理 MapReduce#!/bin/bashday_str=`date -d '-1 day' + '%Y-%m-%d'`inpath=/app-log-data/data/$day_stroutpath=/app-log-data/clean/${day_str}-cleanech...

2018-05-20 23:07:11

阅读数:1923

评论数:0

flume两级串联配置案例

 flume两级串联配置案例tail-avro.conf:从tail命令获取数据发送到avro端口 另一个节点可配置一个avro源来中继数据,发送外部存储 ################## # Name the components on this agent a1.sources = r...

2018-05-20 01:18:57

阅读数:1038

评论数:0

flume配置案例

flume配置案例dir-hdfs.conf:#定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1.sources.source1.type = spooldir ...

2018-05-20 01:16:09

阅读数:988

评论数:0

flume多级串联示意图

2018-05-20 01:13:54

阅读数:1005

评论数:0

flume工作机制示意图

2018-05-20 01:12:09

阅读数:1894

评论数:0

HBASE客户端API操作

HBASE客户端API操作DDL代码:package cn.edu360.hbase.demo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop....

2018-05-20 01:01:45

阅读数:228

评论数:0

HBASE精炼笔记总结—[基础篇]

1.  HBASE1.1. 1/ 什么是HBASE1.1.1.  概念特性HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)l  Hbase的表模型与关系型数据库的...

2018-05-20 00:58:37

阅读数:2012

评论数:0

布隆过滤器的思想示意图

2018-05-20 00:51:43

阅读数:1021

评论数:0

HBASE整体工作机制示意图

2018-05-19 00:51:21

阅读数:3591

评论数:0

HBASE数据表的结构示意图

2018-05-19 00:49:54

阅读数:3057

评论数:0

一张图解释分布式中各种数据库之间的差别比较

2018-05-19 00:48:42

阅读数:3586

评论数:0

编程必会单词v2

error 错误while 当compiling 编译过程中statement: 语句failed 失败的semantic 语法的exception 异常line  行table 表not found 找不到tiny 微小的char 字符Loading 加载中data 数据from 从....fi...

2018-05-19 00:43:52

阅读数:3046

评论数:0

HIVE精炼笔记总结——[函数篇]

1.  hive函数使用小技巧:测试函数的用法,可以专门准备一个专门的dual表create table dual(x string);insert into table dual values(''); 其实:直接用常量来测试函数即可select substr("abcdefg...

2018-05-19 00:38:56

阅读数:3139

评论数:0

HIVE精炼笔记总结——[查询篇]

1.  hive查询语法提示:在做小数据量查询测试时,可以让hive将mrjob提交给本地运行器运行,可以在hive会话中设置如下参数:hive> set hive.exec.mode.local.auto=true;1.1. 基本查询示例select * from t_ac...

2018-05-19 00:34:40

阅读数:3587

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭