大数据
wtzhm
有梦想没有金钱,想健身没有时间!
展开
-
Zookeeper
Zookeeper 学习总结1.概述Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务.由雅虎公司创建,是Google Chubby(主要解决分布式锁相关问题)的开源实现。ZooKeeper是一个高性能的分布式一致性解决方案,它将那些复杂的、容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并提供一系列简单易用的接口给用户使用。原创 2017-12-19 16:46:01 · 253 阅读 · 0 评论 -
Azkaban概述详解
Azkaban概述详解本文简单介绍一下Azkaban及其特点。azkaban是一个开源的任务调度系统,用于负责任务的调度运行(如数据仓库调度),用以替代linux中的crontab。一、Azkaban是什么?1.1 Azkaban是什么?Azkaban是一套简单的任务调度服务,整体包括三部分webserver、dbserver、executorserver。Azkaban是linkin...原创 2019-04-11 21:28:43 · 2853 阅读 · 0 评论 -
一张图详解maven
一张图详解maven1. maven 概述Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个依赖管理系统(Dependency Management System),和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑2. maven...原创 2018-12-02 18:19:13 · 371 阅读 · 1 评论 -
sqoop 导入导出数据命令参数详解
sqoop 导入导出数据命令参数详解1. 从关系数据库中导入到hdfs中sqoop import \--connect<jdbc-uri> 指的是连接地址,这里面是mysql服务器的地址;--username<username> 数据库用户名--password<password> 数据库密码--target-dir<dir&g...原创 2018-08-18 16:25:01 · 12602 阅读 · 0 评论 -
Sqoop概述
Sqoop安装与概述1. sqoop概述Sqoop官网:http://sqoop.apache.org/sqoop介绍 Sqoop即SQL to Hadoop,是一个将数据在关系数据库(如 MySQL/Oracle 等)和大数据产品(如 Hadoop/Hive/HBase等)之间导入/导出的有效工具,底层是通过MapReduce作业来完成。它充分利用了MapReduce的并行特...原创 2018-08-18 14:40:25 · 337 阅读 · 0 评论 -
Scala操作关系数据库增删改查
Scala操作关系数据库增删改查1. 引入依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.38</ver...原创 2018-07-01 15:30:14 · 2755 阅读 · 1 评论 -
Storm基础
Storm基础1. 离线计算与流式计算的概述离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示,flum获取数据,Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示,Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计...原创 2018-03-20 20:01:06 · 269 阅读 · 0 评论 -
sql基础
sql 基础distinct 语句 SELECT DISTINCT 列名称 FROM 表名称 DISTINCT 用于返回唯一不同的值 select count(distinct sno) as count form sc ; 统计学生人数and 与 or ND 和 OR 可在 WHERE 子语句中把两个或多个条件结合起来order by ORDER BY Company D原创 2018-01-17 18:08:36 · 451 阅读 · 0 评论 -
安装github项目的jar包到自己的maven仓库中
安装github项目的jar包到自己的maven仓库中1. 概述在实际开发中,我们可能使用到github已有的开源项目,在使用maven的时候,在maven仓库中找不到这个github项目的maven,这个时候我们需要将GitHub源码打成jar包,安装到自己的maven仓库中。2.例子根据IP地址查找城市名称,使用GitHub项目:https://github.com/wzhe06/ip...原创 2019-04-14 11:00:30 · 2891 阅读 · 0 评论