大数据
文章平均质量分 87
暴走的Aluuubbarrrr
小白一枚,工作三年
展开
-
搭建分布式平台(zookeeper、kafka、redis、flink)
搭建 分布式 集群 环境 zookeeper kafka redis flink原创 2021-01-28 11:06:50 · 467 阅读 · 0 评论 -
从Oracle导入数据到Hive中
Oracle导入数据到Hive Oracle Hive 大数据原创 2019-10-16 15:56:38 · 2114 阅读 · 0 评论 -
把Excel、CSV导入到HIVE中
把Excel、csv导入到Hive中。 数据导入原创 2019-09-27 17:05:09 · 1839 阅读 · 1 评论 -
初识MapReduce
初识MapReduce什么是MapReduce组成部分主要思想核心思想分布式计算的原理归并排序MapReduce实现思想Map task shuffle write一 切片二 打标签三 buffer in memory四 合并Reduce task shuffle read五 reduce读取数据六 排序的作用 什么是MapReduce Hadoop MapReduce is a s...原创 2018-10-16 23:37:06 · 509 阅读 · 0 评论 -
分布式存储思维导图
原创 2018-10-10 09:06:08 · 758 阅读 · 0 评论 -
分布式存储与HDFS
大数据学习一什么是大数据简述大数据技术分布式存储分布式计算机器学习分布式存储HDFS备份机制client向DataNode写数据client向datanode读数据持久化的详细过程再来简单说说心跳机制当集群启动时安全模式HDFS集群注意事项鸣谢 什么是大数据 简述 短时间内 快速的 产生 海量的 多种多样的 有价值的 数据。 提取出 大数据的四个特性(4个V): volumes 海量的数据 ...原创 2018-10-09 20:48:53 · 506 阅读 · 1 评论 -
Java操作HDFS(常用API)
Java操作HDFS先前准备API操作查看文件创建新文件夹上传文件下载文件删除文件内部复制和内部移动(剪切)重命名创建新的文件写文件读文件追加写获取数据位置 先前准备 确保HDFS集群已经搭建 如有不会请查看分布式HDFS集群搭建 在本机配好hadoop环境变量,必要时在hosts文件下加入node和ip 在eclipse中配置Hadoop插件 在eclipse安装目录下打开dropins文件...原创 2018-10-15 20:57:07 · 983 阅读 · 0 评论 -
HDFS常用操作
HDFS API常用操作上传文件创建新目录在文件中追加信息查看文件内容更改文件的属组更改文件的权限更改文件的属主和属组将HDFS上文件复制到本地查看文件系统的磁盘空间 常用操作 上传文件 hdfs dfs -put src... dest hdfs dfs -copyFormLocal src... dest #将本地src目录下的文件复制到dest目录下 hdfs dfs -moveFormLo...原创 2018-10-15 20:12:51 · 304 阅读 · 0 评论 -
初识Yarn
初识Yarn hadoop 工作流程 组件介绍原创 2018-10-18 11:54:17 · 470 阅读 · 0 评论 -
HDFS总结 思维导图
HDFS总结HDFS HDFS分布式存储 大数据 思维导图原创 2018-10-13 22:33:37 · 2306 阅读 · 0 评论 -
分布式HDFS集群搭建
分布式搭建伪分布式搭建过程概述步骤完全分布式搭建概述步骤高可用的分布式搭建概述步骤 伪分布式搭建过程 概述 在一个节点上,完成HDFS各个组件的搭建。 如不熟悉HDFS各个组件及功能,可参阅如下博客。 个人博客: xzy 。 步骤 首先编辑网络环境 通过这个命令 # vi /etc/sysconfig/network-scripts/ifcfg-eth0 查看当前网络状态,若想配置ip重启后不...原创 2018-10-13 10:48:04 · 290 阅读 · 0 评论