大数据
Devin·Finn
✍择一事,终一生,不为繁华易匠心。
展开
-
处理架构知识点
Hadoop的核心是HDFS和MapReduceHadoop2.0增加了NameNode HA和Wire-compatibility两个重大特性Hadoop MapReduce是针对谷歌MapReduce的开源实现,通常用于大规模数据集的并行计算hadoop的特性高可靠性、支持多种编程语言、高容错性HDFS:分布式文件系统,是Hadoop项目的两大核心之一,是谷歌GFS的开源实现HBa...原创 2020-03-13 03:46:08 · 308 阅读 · 0 评论 -
大数据概述概念总结
第三次信息化浪潮的标志:云计算、大数据、物联网技术的普及大数据时代新兴的技术:Spark、Hadoop、HBase大数据发展的三个阶段:萌芽期(上世纪90年代至本世纪初)成熟期(本实际前十年)大规模应用期(2010年前后)数据产生方式大致经历了三个阶段:感知式系统阶段运营式系统阶段用户原创内容阶段大数据带来思维方式的三个转变是:全样而非抽样相关而非因果效率...原创 2020-03-13 03:23:10 · 2618 阅读 · 0 评论 -
大数据学习记录(更新中)
1. 搭建环境原创 2020-03-13 03:10:25 · 271 阅读 · 0 评论 -
Hadoop入门——环境篇
软件准备VMware15Ubuntu18.0.4Hadoop3.2.1jdk-8u162-linux-x64步骤安装虚拟机,一路Next创建Ubuntu系统安装JDK安装Hadoop及伪分布式部署入门学习伪分布式就可以了。...原创 2020-03-13 03:05:48 · 250 阅读 · 0 评论 -
Hadoop伪分布式运行实例
Hadoop伪分布式运行实例1. 打开服务./sbin/start-dfs.sh2. 在 HDFS 中创建用户目录./bin/hdfs dfs -mkdir -p /user/hadoop3. 将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./etc/...原创 2020-03-13 02:59:03 · 2328 阅读 · 3 评论 -
Hadoop 3.2.1的安装、伪分布式部署及web无法访问踩坑
安装 Hadoop 3.2.11. 下载2. 将Hadoop 安装至 /usr/local/ 中sudo tar -zxf ~/下载/hadoop-3.2.1.tar.gz -C /usr/local3. 在/usr/local文件夹在找到文件,右键重命名为hadoop4. 修改文件权限sudo chown -R hadoop ./hadoop 5. 查看hadoop版本c...原创 2020-03-13 02:52:04 · 2750 阅读 · 5 评论 -
在Ubuntu上安装java环境
JDK的安装1. 下载安装包 提取码:nmrf2. 创建目录存放jvmcd /usr/libsudo mkdir jvmcd ~ #进入hadoop主目录3. 将下载好的压缩包放在系统中,并在终端cd,我放在了主目录的下载下面cd 下载sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm4. 配置环境变量...原创 2020-03-13 02:31:58 · 417 阅读 · 0 评论 -
Unbutu系统创建及初始配置
创建1. 创建2. next 3. 稍后4. Ununtu 64位,不是Ubuntu5. 更改位置,选择一个至少20G的磁盘6. next直到完成。系统初始化设置1. 选择中文,安装Ubuntu2. 选择镜像,框中的根据电脑配置设置即可,左侧的打印机点击,然后移除3. 然后让他安装就行。联网状态下,会安装一些基本软件,不相等的话,可以选择前面的建议安装,软件自己...原创 2020-03-13 02:17:10 · 2230 阅读 · 0 评论 -
ununtu网络无连接ping不通
1. 看网络适配器是不是NAT,不要设置为仅主机2. 如果不是NAT在上面的编辑虚拟机设置中修改即可原创 2020-03-13 02:01:34 · 352 阅读 · 0 评论 -
ubuntu安装之更改软件源
1. 选择软件和更新 2. 更改3. 选择服务器,关闭,如果提示输入密码,输入就行4. 重新载入5. 完成原创 2020-03-13 01:57:48 · 413 阅读 · 0 评论