学习笔记
关注
分享
扫一扫
文章平均质量分 57
RobertDowneyLm
I hope I can protect the one thing I can't live without. ----AVENGERS ：Tony Stark
展开
-
MapReduce编程小案例.10th—join算法改进
MapReduce编程小案例.10th—join算法改进利用Partitioner + CompareTo + GroupingComparator 高效实现 可以参考案例9th；直接上实现代码：JoinBeanpackage cn.edu360.mr.join.improve;import java.io.DataInput;import java.io.DataOutput;impor...原创 2018-05-16 00:13:24 · 5681 阅读 · 0 评论 -
APP数据模拟处理流程—[shell脚本]
#!/bin/bashday_str=`date -d '-1 day' +'%Y-%m-%d'`inpath=/app-log-data/data/$day_stroutpath=/app-log-data/clean/${day_str}-cleanhive_exec=/root/apps/hive-1.2.1/bin/hiveecho "准备清洗$day_str数据......"/root/...原创 2018-05-20 23:10:01 · 4005 阅读 · 0 评论 -
APP数据模拟处理流程—[总结篇]
1.进行数据清理 MapReduce#!/bin/bashday_str=`date -d '-1 day' + '%Y-%m-%d'`inpath=/app-log-data/data/$day_stroutpath=/app-log-data/clean/${day_str}-cleanecho "准备清洗$day_str数据..."/root/apps/hadoop-2.8.3/bin/ha...原创 2018-05-20 23:07:11 · 3017 阅读 · 0 评论 -
一张图解释mapreduce编程模型和mapreduce模型实现程序之间的关系
原创 2018-05-14 16:42:43 · 1981 阅读 · 0 评论 -
flume两级串联配置案例
flume两级串联配置案例tail-avro.conf：从tail命令获取数据发送到avro端口另一个节点可配置一个avro源来中继数据，发送外部存储################### Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/config...原创 2018-05-20 01:18:57 · 1998 阅读 · 0 评论 -
flume配置案例
flume配置案例dir-hdfs.conf：#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1# 配置source组件ag1.sources.source1.type = spooldirag1.sources.source1.spoolDir = /root/log/ag1.sourc...原创 2018-05-20 01:16:09 · 1301 阅读 · 0 评论 -
flume多级串联示意图
原创 2018-05-20 01:13:54 · 1595 阅读 · 0 评论 -
flume工作机制示意图
原创 2018-05-20 01:12:09 · 2318 阅读 · 0 评论 -
HBASE客户端API操作
HBASE客户端API操作DDL代码：package cn.edu360.hbase.demo;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop....原创 2018-05-20 01:01:45 · 765 阅读 · 0 评论 -
HBASE精炼笔记总结—[基础篇]
1. HBASE1.1. 1/ 什么是HBASE1.1.1. 概念特性HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）l Hbase的表模型与关系型数据库的表模型不同：l Hbase的表没有固定的字段定义；l Hbase的表中每行存储的都是一些key-v...原创 2018-05-20 00:58:37 · 2881 阅读 · 0 评论 -
布隆过滤器的思想示意图
原创 2018-05-20 00:51:43 · 1529 阅读 · 0 评论 -
MapReduce的运行平台—YARN快速理解
mapreduce程序应该是在很多机器上并行启动，而且先执行maptask，当众多的maptask都处理完自己的数据后，还需要启动众多的reduce task，这个过程如果用用户自己手动调度不太现实，需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个自动化调度平台——YARN。YARN的基本概念yarn是一个分布式程序的运行调度平台yarn中有两大核...原创 2018-05-13 20:46:10 · 4604 阅读 · 1 评论 -
HBASE整体工作机制示意图
原创 2018-05-19 00:51:21 · 3917 阅读 · 0 评论 -
HBASE数据表的结构示意图
原创 2018-05-19 00:49:54 · 3621 阅读 · 0 评论 -
MapReduce编程小案例.1st—求取手机号码上下限及总流量
MapReduce编程小案例.1st—求取手机号码上下限及总流量利用MapReduce处理一个小案例，如下是一批手机号码上网所保存在日志的流量信息：1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 1382654...原创 2018-05-14 21:46:38 · 5142 阅读 · 0 评论 -
MapReduce编程小案例.2nd—求取网站访问次数Top.N
MapReduce编程小案例.2nd—求取网站访问次数Top.N利用MapReduce处理一个小案例，如下是一批网站的访问次数信息：2018/05/11 qq.com/a2018/05/11 qq.com/bx2018/05/11 qq.com/by2018/05/11 qq.com/by32018/05/11 qq.com/news2018/05/11 sina.com/news/so...原创 2018-05-14 21:59:56 · 2716 阅读 · 0 评论 -
MapReduce编程小案例.3rd—对网站访问总次数全排序
MapReduce编程小案例.3rd—对网站访问总次数全排序利用MapReduce处理一个小案例，如下是一批网站的访问次数信息：2018/05/11 qq.com/a2018/05/11 qq.com/bx2018/05/11 qq.com/by2018/05/11 qq.com/by32018/05/11 qq.com/news2018/05/11 sina.com/news/soca...原创 2018-05-14 22:12:52 · 1995 阅读 · 0 评论 -
MapReduce编程小案例.9th—join算法
MapReduce编程小案例.9th—join算法数据：有订单数据：order001,u001 order002,u001 order003,u005 order004,u002 order005,u003 order006,u004 有用户数据：u001,senge,18,angelababy u002,laozhao,48,ruhua u003,xiaoxu,16,chunge...原创 2018-05-16 00:04:48 · 2531 阅读 · 0 评论 -
MapReduce编程小案例.8th—替换默认的文本输入输出组件为sequence文件输入输出组件
MapReduce编程小案例.8th—替换默认的文本输入输出组件为sequence文件输入输出组件实现代码：同样分2步实现package cn.edu360.mr.index.sequence;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs...原创 2018-05-15 19:19:20 · 4254 阅读 · 0 评论 -
一张图概括MapReduce框架内部核心工作机制
原创 2018-05-15 19:04:00 · 2169 阅读 · 0 评论 -
MapReduce编程小案例.7th—求用户之间的共同好友及有哪些好友
MapReduce编程小案例.7th—求用户之间的共同好友及有哪些好友需求：有如下一组数据哪些用户两两之间有共同好友，及共同好友都是哪些人B:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J需要得到...原创 2018-05-15 18:59:19 · 2275 阅读 · 0 评论 -
MapReduce编程小案例.6th—高效求分组topn的代码实现
MapReduce编程小案例.6th—高效求分组topn的代码实现需求：有如下一组数据：order001,u001,小米6,1999.9,2 order001,u001,雀巢咖啡,99.0,2 order001,u001,安慕希,250.0,2 order001,u001,经典红双喜,200.0,4 order001,u001,防水电脑包,400.0,2 order002,u0...原创 2018-05-15 18:48:59 · 5347 阅读 · 1 评论 -
MapReduce编程小案例.5th—分组topn的简单实现
MapReduce编程小案例.5th—分组topn的简单实现需求：有如下一组数据：order001,u001,小米6,1999.9,2order001,u001,雀巢咖啡,99.0,2order001,u001,安慕希,250.0,2order001,u001,经典红双喜,200.0,4order001,u001,防水电脑包,400.0,2order002,u002,小米手环,199.0...原创 2018-05-15 18:37:41 · 2935 阅读 · 0 评论 -
MySql编码问题
一、mysql中的编码mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database db_name character set utf8;修改表的编码：mysql&g...原创 2018-05-21 21:05:16 · 2426 阅读 · 0 评论 -
sqoop各类命令示范笔记
/** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fields-terminated-by ',' \--table emp \--spl...原创 2018-05-21 21:00:35 · 2195 阅读 · 0 评论 -
sqoop数据迁移工具
sqoop数据迁移工具1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对i...原创 2018-05-21 20:56:14 · 2409 阅读 · 0 评论 -
APP数据模拟处理流程—[窗口分析函数]
2018-05-19,唐尼,钢铁侠,360应用,纽约,v2.02018-05-19,唐尼,钢铁侠,360应用,纽约,v1.22018-05-19,唐尼,钢铁侠,360应用,纽约,v2.02018-05-19,唐尼,钢铁侠,360应用,纽约,v1.22018-05-19,唐尼,钢铁侠,安卓市场,纽约,v1.62018-05-19,唐尼,钢铁侠,360应用,纽约,v1.32018-05-1...原创 2018-05-21 20:49:19 · 2158 阅读 · 0 评论 -
APP数据模拟处理流程—[次日留存用户]
APP数据模拟处理流程—[次日留存用户]/*留存用户分析概念:昨日新增，今天还活跃逻辑思路：昨天在新用户表，今天在活跃用户表之中 ---->今日的次日留存用户 昨天在新用户表的人，今天还在活跃用户表中*/--数据建模 -->> 纪录跟活跃用户表相同的字段--建次日留存etl信息表：纪录跟活跃用户表相同的字段create tabl...原创 2018-05-21 20:40:20 · 1636 阅读 · 0 评论 -
Linux小白三天入门进阶笔记——DAY1
1.Linux特点开源多用户，多任务，丰富的网络功能，可靠的系统安全，良好的可移植性，具有标准兼容性，良好的用户界面，出色的速度性能服务器不使用图形化界面：图形化占用资源机房部署方便，无需配置操作界面2.CentOS 社区版主流：目前的Linux操作系统主要应用于生产环境，主流企业级Linux系统仍旧是RedHat或者CentOS免费：RedHat和CentOS差别不大，CentOS是一个基于R...原创 2018-05-08 16:50:28 · 2307 阅读 · 0 评论 -
MapReduce编程小案例.4th—倒排索引创建
MapReduce编程小案例.4th—倒排索引创建需求：有大量的文本文档，如下所示：a.txthello tom hello jim hello kitty hello rose b.txthello jerry hello jim hello kitty hello jack c.txthello jerry hello java hello c++ hello c++ ...原创 2018-05-14 23:47:09 · 4510 阅读 · 0 评论 -
一张图解释分布式中各种数据库之间的差别比较
原创 2018-05-19 00:48:42 · 4823 阅读 · 0 评论 -
编程必会单词v2
error 错误while 当compiling 编译过程中statement: 语句failed 失败的semantic 语法的exception 异常line 行table 表not found 找不到tiny 微小的char 字符Loading 加载中data 数据from 从....file 文件fire 火，开火，发射recognize 识别<EOF> 没有正确结束pro...原创 2018-05-19 00:43:52 · 3374 阅读 · 0 评论 -
ZooKeeper的java客户端api的监听功能代码示范
ZooKeeper的java客户端api的监听功能代码示范package cn.edu360.zk.demo;import java.util.List;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Wa...原创 2018-05-17 00:24:21 · 3327 阅读 · 0 评论 -
ZooKeeper的java客户端api基本功能代码
ZooKeeper的java客户端api基本功能代码package cn.edu360.zk.demo;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.List;import org.apache.zookeeper.CreateMode;import or...原创 2018-05-17 00:14:36 · 4205 阅读 · 0 评论 -
在Linux中ZooKeeper集群启动或者暂停的脚本
#!/bin/bashfor host in hadoop1 hadoop2 hadoop3doecho "${host}:$1ing...."ssh $host "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh $1"donesleep 2for host in hadoop1 hadoop2 h...原创 2018-05-17 00:12:26 · 5379 阅读 · 0 评论 -
轻松上手ZooKeeper集群搭建
Step1：首先给Linux上传ZooKeeper安装包，然后解压；Step2：进入到你所安装的包的路径里面，进入conf配置文件的目录，把zoo_sample.cfg改成zoo.cfg修改conf/zoo.cfg# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the init...原创 2018-05-16 23:24:33 · 4868 阅读 · 0 评论 -
ZooKeeper集群结构示意图
原创 2018-05-16 23:14:10 · 2486 阅读 · 0 评论 -
一张ZooKeeper案例示意图
原创 2018-05-16 23:12:47 · 4515 阅读 · 0 评论 -
ZooKeeper的功能和应用场景图示
原创 2018-05-16 23:09:38 · 5064 阅读 · 0 评论 -
一张图解释mapreduce程序在YARN上启动-运行-注销的全流程
原创 2018-05-16 23:01:05 · 4376 阅读 · 0 评论