大数据
文章平均质量分 87
暴走的Aluuubbarrrr
小白一枚,工作三年
展开
-
搭建分布式平台(zookeeper、kafka、redis、flink)
搭建 分布式 集群 环境 zookeeper kafka redis flink原创 2021-01-28 11:06:50 · 429 阅读 · 0 评论 -
从Oracle导入数据到Hive中
Oracle导入数据到HiveOracle Hive大数据原创 2019-10-16 15:56:38 · 1914 阅读 · 0 评论 -
把Excel、CSV导入到HIVE中
把Excel、csv导入到Hive中。数据导入原创 2019-09-27 17:05:09 · 1769 阅读 · 1 评论 -
初识MapReduce
初识MapReduce什么是MapReduce组成部分主要思想核心思想分布式计算的原理归并排序MapReduce实现思想Map task shuffle write一 切片二 打标签三 buffer in memory四 合并Reduce task shuffle read五 reduce读取数据六 排序的作用什么是MapReduce Hadoop MapReduce is a s...原创 2018-10-16 23:37:06 · 234 阅读 · 0 评论 -
分布式存储思维导图
原创 2018-10-10 09:06:08 · 719 阅读 · 0 评论 -
分布式存储与HDFS
大数据学习一什么是大数据简述大数据技术分布式存储分布式计算机器学习分布式存储HDFS备份机制client向DataNode写数据client向datanode读数据持久化的详细过程再来简单说说心跳机制当集群启动时安全模式HDFS集群注意事项鸣谢什么是大数据简述短时间内 快速的 产生 海量的 多种多样的 有价值的 数据。提取出 大数据的四个特性(4个V):volumes 海量的数据...原创 2018-10-09 20:48:53 · 479 阅读 · 1 评论 -
Java操作HDFS(常用API)
Java操作HDFS先前准备API操作查看文件创建新文件夹上传文件下载文件删除文件内部复制和内部移动(剪切)重命名创建新的文件写文件读文件追加写获取数据位置先前准备确保HDFS集群已经搭建 如有不会请查看分布式HDFS集群搭建在本机配好hadoop环境变量,必要时在hosts文件下加入node和ip在eclipse中配置Hadoop插件在eclipse安装目录下打开dropins文件...原创 2018-10-15 20:57:07 · 760 阅读 · 0 评论 -
HDFS常用操作
HDFS API常用操作上传文件创建新目录在文件中追加信息查看文件内容更改文件的属组更改文件的权限更改文件的属主和属组将HDFS上文件复制到本地查看文件系统的磁盘空间常用操作上传文件hdfs dfs -put src... desthdfs dfs -copyFormLocal src... dest #将本地src目录下的文件复制到dest目录下hdfs dfs -moveFormLo...原创 2018-10-15 20:12:51 · 144 阅读 · 0 评论 -
初识Yarn
初识Yarnhadoop工作流程组件介绍原创 2018-10-18 11:54:17 · 253 阅读 · 0 评论 -
HDFS总结 思维导图
HDFS总结HDFSHDFS分布式存储 大数据思维导图原创 2018-10-13 22:33:37 · 1960 阅读 · 0 评论 -
分布式HDFS集群搭建
分布式搭建伪分布式搭建过程概述步骤完全分布式搭建概述步骤高可用的分布式搭建概述步骤伪分布式搭建过程概述在一个节点上,完成HDFS各个组件的搭建。如不熟悉HDFS各个组件及功能,可参阅如下博客。个人博客: xzy 。步骤首先编辑网络环境通过这个命令 # vi /etc/sysconfig/network-scripts/ifcfg-eth0 查看当前网络状态,若想配置ip重启后不...原创 2018-10-13 10:48:04 · 154 阅读 · 0 评论