![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
森森之火
这个作者很懒,什么都没留下…
展开
-
细说常见的大数据技术
作者:北京课工场链接:https://www.zhihu.com/question/353181848/answer/875259032来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。一、数据采集与预处理对于各种来源的数据,包括移动互联网数据、社交网络的数据等,这些结构化和非结构化的海量数据是零散的,也就是所谓的数据孤岛,此时的这些数据并没有什么意义,数据采集就是将这些数据写入数据仓库中,把零散的数据整合在一起,对这些数据综合起来进行分析。数据采集包括文件日志.原创 2020-09-04 09:35:07 · 615 阅读 · 2 评论 -
常见的大数据框架技术总结
目前常见的技术框架,部分列举如下:文件存储:Hadoop HDFS、Tachyon、KFS离线计算:Hadoop MapReduce、Spark流式、实时计算:Storm、Spark Streaming、S4、HeronK-V、NOSQL数据库:HBase、Redis、MongoDB资源管理:YARN、Mesos日志收集:Flume、Scribe、Logstash、Kibana消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ查询分析:Hive、Impala原创 2020-09-04 09:31:58 · 1779 阅读 · 0 评论 -
Hadoop和HBase对应表
以下是各版本的Hadoop和HBase对应表,原创 2020-05-07 17:17:24 · 1273 阅读 · 0 评论 -
spark-sql入门(一)通过spark-shell命令行操作
SparkSQL是spark用来处理结构化的一个模块,它提供一个抽象的数据集DataFrame,并且是作为分布式SQL查询引擎的应用 注:本文所有操作是基于ambari工具,搭建好了 hdfs yarn hive spark mapReduce等大数据常用的组件一、进入spark命令窗口 输入命令 spark-shell 以上是各种报错的部分...原创 2020-04-17 09:41:13 · 11940 阅读 · 1 评论 -
ubuntu环境里用docker 安装 hbase安装
一、下载镜像 docker search hbase 选择第一个镜像,这个下载量最多,以此推断最靠谱 docker pull harisekhon/hbase docker images 发现已经在本地了,说明下载成功二、启动并验证 1、启动hbase docker run ...原创 2020-04-08 17:28:42 · 767 阅读 · 0 评论 -
我的第一个hadoop学习例子
hadoop环境搭建好后,相信大家是很兴奋的,迫不及待的相做一个最简单的例子,看下效果,认识下hadoop真实面目,具体步骤如下一、启动hadoop 我们这里用的是spark集群环境里的hadoop环境,关于spark集群搭建请看ubuntu环境 中 docker 安装spark集群 进入docker-compose的配制文件目录...原创 2020-04-07 15:10:57 · 533 阅读 · 0 评论 -
Hadoop常用命令总结
1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。2、单进程启动。sbin/start-dfs.sh--------------- sbin/hadoop-daemons.sh --config .. --hostname ...原创 2020-04-07 15:07:31 · 1284 阅读 · 0 评论 -
docker-compose.yml的详细解释与说明
docker-compose.yml是docker-compose的配制文件,里面的很多配制参数的意义与下这个最简易的文件其实 docker-compose 包含version、services、networks3大部分...原创 2020-04-03 15:19:13 · 17718 阅读 · 1 评论 -
ubuntu环境 中 docker 安装spark集群(利用docker-compose)
前言这里解释下 题目中的 docker-compose,这其实是docker提供的一种命令行工具,用来定义和运行由多个容器组成的应用,初一看,这句有点不好理解,那先不着急,我先列一个场景,现在有一个需求是,用docker完成 一个应用A的部署,且这个应用A需要依赖多个应用A1、A2、A3....才能正常运行,而且多个应用的部分配制还要能灵活的配制,..说到这,你是不是有点头痛了,如果...原创 2020-04-03 15:24:37 · 2085 阅读 · 1 评论 -
利用docker搭建hadoop的开发环境(超简单)
前言 本文是基于ubuntu环境完成的,要完成hadoop的安装,必须先在ubuntu上安装docker,一、下载hadoop镜像 1、换到root用户 执行 su root 这样做是方便执行命令 2、下载镜像 执行 dock...原创 2020-04-01 14:29:44 · 6667 阅读 · 2 评论