![](https://img-blog.csdnimg.cn/20191110095602455.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据相关技术
唉.
后端、云计算、大数据
展开
-
Akka框架简单介绍
Akka是Java虚拟机平台上构建高并发、分布式和容错应用的工具包和运行时。Akka使用Scala语言编写同时提供了Scala和Java的开发接口,Akka处理并发的方法基于Actor模型,Actor之间通信的唯一机制就是消息传递。Akka特点:对并发模型进行了更高的抽象异步、非阻、高性能的事件驱动编程模型轻量级事件处理(1GB内存可以容纳百万级别个Actor)提供了一种称为Actor...原创 2020-01-20 11:14:50 · 2003 阅读 · 0 评论 -
Flume扩展
当我们想要了解一种新的框架的时候,官方文档是我们一定要看的,因为这是很权威的基本上也是没有错误的。。。Flume简介Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It ha...原创 2019-08-16 12:31:49 · 255 阅读 · 0 评论 -
数据仓库(Hive)——DDL详细操作
文章目录一、基本概念1、什么是Hive2、Hive的优缺点3、Hive架构原理4、Hive和数据库对比二、DDL基本操作指令1、展示数据库2、使用数据库3、展示表4、数据导入5、Hive查看HDFS目录文件6、Hive查看本地目录文件7、查看Hive历史操作命令8、查看表的详细信息9、创建表<1>、创建.csv方法、创建.tsv是by"\t"<2>、创建内部表<3&g...原创 2019-06-10 21:21:42 · 931 阅读 · 0 评论 -
数据仓库(Hive)——函数及企业级调优
文章目录六、函数1、系统自带函数<1>、查看系统自带的函数<2>、显示自带的函数的用法<3>、详细显示自带的函数的用法2、自定义函数描述3、自定义函数开发案例<1>、环境搭建<2>、编写代码,定义一个传入的参数<3>、打包带入到测试环境<4>、创建临时函数与开发好的java class关联<5>、使用函...原创 2019-06-15 21:06:16 · 192 阅读 · 0 评论 -
数据仓库(Hive)——查询(下)
文章目录五、查询(下)4、Join语句<1>、等值join<2>、表的别名<3>、内连接<4>、左外连接<5>、右外连接<6>、满外连接<7>、多表连接5、排序<1>、全局排序(Order By)<2>、按照别名排序<3>、多个列排序<4>、每个MapReduce内部...原创 2019-06-13 22:00:10 · 765 阅读 · 0 评论 -
Kafka(下)
文章目录四、Kafka API实战1、环境准备2、Kafka生产者Java API<1>、创建生产者<2>、创建生产者带回调函数<3>、自定义分区生产者3、Kafka消费者Java API五、Kafka Producer拦截器1、拦截器原理2、拦截器案例六、Kafka Streams1、概述2、特点3、为什么要有Kafka Streams4、Kafka Stre...原创 2019-06-02 15:46:10 · 119 阅读 · 0 评论 -
Kafka(上)
文章目录一、Kafka概述1、Kafka是什么2、消息队列内部实现原理3、为什么需要消息队列4、Kafka的架构5、分布式模型二、Kafka集群部署1、环境准备2、Kafka集群部署3、Kafka命令行操作三、Kafka工作流程分析1、Kafka工作流程分析<1>、写入方式<2>、分区(Partition)<3>、副本<4>、写入流程2、Broker...原创 2019-06-02 13:18:30 · 152 阅读 · 0 评论 -
Sqoop
文章目录1、简介2、原理3、安装及相关配置<1>、修改相关配置文件<2>、拷贝JDBC驱动<3>、测试4、Sqoop简单使用案例<1>、导入数据(1)、RDBMS到HDFS(2)、RDBMS到Hive<2>、导出数据Hive/HDFS到RDBMS<3>、脚本打包1、简介Apache Sqoop™是一种旨在有效地在 Apa...原创 2019-06-01 00:50:51 · 132 阅读 · 0 评论 -
数据仓库(Hive)——DML操作、查询(上)
文章目录三、DML操作1、数据导入<1>、Load向表中装载数据<2>、通过查询语句向表中插入数据<3>、查询语句中创建表并加载数据<4>、创建表时通过Location指定加载数据路径<5>、Import数据到指定Hive表中2、数据导出<1>、Insert导出(1)、查询的结果导出到本地(2)、查询的结果格式化导出到本地(3...原创 2019-06-12 21:32:58 · 605 阅读 · 0 评论 -
Flume
文章目录1、简介2、Flume的相关角色3、Flume传输过程4、部署及使用<1>、文件配置<2>、相关案例(1)、监控端口数据(2)、实时读取本地文件到HDFS(3)、实时读取目录文件到HDFS(4)、Flume与Flume之间数据传递:单Flume多Channel、Sink(5)、Flume与Flume之间数据传递:多Flume汇总数据到单Flume5、Flume监控之...原创 2019-05-30 13:30:02 · 209 阅读 · 0 评论