大数据
浅汐yt
当你觉得很难,很难,快要撑不下去的时候,你要知道,总有人在摇摇欲坠的现实中颠沛流离,等日出、等日落、等花开、等风来......
展开
-
浅谈Hive之第一讲
Hive1. Hive基础入门2. Hive安装配置3. Hive数据定义语言DDL4. Hive数据操作DML5. Hive查询基础6. Hive高级应用7. Hive优化8. Hive案例hive为什么存在?facebook最初用来研发处理海量的社交数据和机器学习简化分析操作,使用sqlmapreduce开发效率较低,hive的效率比较高hive是什么hive是一个...原创 2020-03-08 01:00:10 · 157 阅读 · 0 评论 -
Flume的介绍
一、Flume的产生背景 随着互联网技术的发展,人们对网络日志潜在的信息越来越重视,所以就想把这些日志收集起来,然后进行分析。但是大量的日志产生的位置比较分散,存储的目的地也很不一致,这就导致了数据采集的复杂性。Flume就是满足这种日志采集需求的一个软件框架二、Flume是什么?**Flume是什么:**通俗地说 Flume 就是一个日志采集工具。特性:高可用、高可靠、具有分布式处理模...原创 2020-03-08 00:26:41 · 200 阅读 · 0 评论 -
浅谈Spark Livy
Spark Livy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1. 什么是Livylivy是cloudera开发的通过REST来连接、管理spark的解决方案。涉及到一些角色:①客户端:browser,app终端设备②Livy Server③Livy Server获得用户的请求后,让后将job提交给spark 集群去执行。...原创 2020-03-08 00:12:36 · 4817 阅读 · 0 评论 -
Spark的pom文件配置
Spark的pom文件配置如下(复制粘贴即可): <!--声明共有的属性--> <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.t...原创 2020-03-07 01:04:55 · 2386 阅读 · 1 评论 -
Java和大数据相关的软件及工具下载地址
1、JDK官网1.8下载官网网站:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、Java Decompiler的下载地址: http://java-decompiler.github.io/ 3、scala和scala-sources的下载地址: https:...原创 2019-11-25 11:14:05 · 204 阅读 · 0 评论