- 博客(24)
- 收藏
- 关注
RSS订阅
原创 大数据Hadoop课程进度
第一章 初识hadoop大数据概论markdown的使用####第二章 搭建Hadoop集群虚拟机安装虚拟机克隆主机名和IP映射配置网络配置网络参数配置-配置网卡、静态IP地址ssh远程登录功能配置ssh免密登录功能配置Hadoop集群的部署模式-理论课JDK安装Hadoop安装Hadoop集群配置（教师操作）Hadoop集群配置（学生操作）格式化文件系统（排除前面问题，需要单独一节课，Hadoop集群配置容易出错，时间不够）启动和关闭Hadoop集群UI查看Had
2020-12-10 16:24:21
145
原创 hadoop HA高可用
一、前言所谓HadoopHA高可用集群就是要消灭单点故障问题，实现7 * 24小时无间断提供服务。当然想到搭建高可用前提示会搭建hadoop的分布式，最起码也要熟练搭建伪分布式。想要实现自动故障转移，需要借助Zookeeper来实现管理和检查节点的健康状态。也就是需要会搭建Zookeeper集群，本次搭建我就不在演示搭建zookeeper集群了，如果还不熟悉参考我之前的博客。https://blog.csdn.net/qq_44719527/article/details/104671380如果伪分
2021-04-13 14:52:55
208
原创 《Hadoop大数据技术原理与运用》知识点总结
Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？答：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合具有海量数据规模、快速数据流转、多样数据类型一级价值密度四大特征。2.另外，在Hadoop架构里面，元数据的含义是什么？答：文件的大小、位置、权限3.本书里面使用的Hadoop是哪个发行版本？答：apache版本，优点：版本更迭快； 缺点：更迭快带来的版
2020-12-25 10:50:10
2125
原创 【黑马】＜史上最全面的Hadoop入门教程＞ day2 zookeeper 代码 pom.iml
【黑马】<史上最全面的Hadoop入门教程> day2 zookeeper 代码pom.iml需要添加的代码复制代码<dependencies> <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework</artifactId> <version>
2020-12-15 21:19:56
313
1
原创 【总结】Maven用阿里云作为中央仓库/国内镜像用法设置
分类专栏： Maven Java开发 文章标签： Maven仓库 中央仓库 阿里云仓库 国内镜像 加速背景：访问默认Maven中央仓库速度慢，故使用国内镜像，使用阿里云镜像仓库，加速开发效率。或者，搭建自己的Nexus私服，也可以实现同样的加速效果。核心配置编辑settings.xml文件<mirror> <!--This sends everything else to /public --> <id>nexus</id> <mi
2020-12-11 10:45:23
2190
原创 如何学习Hadoop，学习Hadoop要学什么？怎么学？
如何学习Hadoop，学习Hadoop要学什么？怎么学？第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。。。。。。。如果自己很迷茫，为
2020-11-23 10:44:08
845
原创 HDFS基础
目录HDFS前言设计思想在大数据系统中作用重点概念HDFS的概念和特性概念重要特性图解HDFSHDFS的局限性HDFS保证可靠性的措施单点故障（单点失效）问题单点故障问题解决方案正文回到顶部HDFS前言HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题设计思想1、分散均匀存储 dfs.blocksize = 128M2、备份冗余存储 dfs.replication = 3在大数据系统中
2020-11-21 18:04:25
172
原创 Hadoop集群搭建模式和各模式问题
目录分布式集群的通用问题集群的搭建的集中通用模式1、单机模式2、伪分布式模式（搭建在了只有一个节点的集群中）3、分布式模式4、高可用模式5、联邦模式安装Hadoop集群中的一些通用问题Linux环境变量加载的顺序分布式集群的通用问题当前的HDFS和YARN都是一主多从的分布式架构，主从节点—管理者和工作者问题：如果主节点或是管理者宕机了。会出现什么问题？群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题：当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单
2020-11-21 18:03:10
331
原创 Hadoop发展背景
目录Hadoop产生的背景Hadoop是啥HADOOP在大数据、云计算中的位置和关系Hadoop的技术应用HADOOP生态圈以及各组成部分的简介获取数据的三种方式国内HADOOP的就业情况分析1、HADOOP就业整体情况2、 HADOOP就业职位要求正文Hadoop产生的背景HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
2020-11-21 17:58:27
512
原创 hadoop之shell命令
#hadoop之shell命令##一、启动命令启动hadoop：start-dfs.sh，start-yarn.sh关闭hadoop：stop-dfs.sh，stop-yarn.sh启动hdfs时可在任意节点，启动yarn得在相应yarn的主节点上执行 hadoop fs -命令（hadoop1.0的时候用的） hdfs dfs -命令（hadoop2.0的时候用的） hadoop/hdfs 启动hadoop的客户端，连接hadoop集群 fs/dfs 连接hado
2020-11-20 10:10:21
514
原创 CentOS7和CentOS6具体有哪些区别我来分析分析,CentOS7上手不是问题
https://blog.51cto.com/12928749/2085646首先,先介绍一下CentOS7的镜像,本文中,我们使用的是CentOS7.2的镜像CentOS7的下载地址可以从以下这个地址下载http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso CentOS -7-x86_64 -DVD -1708.iso从 CentOS 7 之后，版本命名就跟发行的日期有关了。• Cent
2020-11-17 09:21:54
310
原创 CentOS7与centOS8的抉择
CentOS7与centOS8的抉择目前国内各大云服务器的默认centos 系统版本还是7，vultr，centos只有8了官网，下载，默认也是8，作为本地主机玩的服务器，还是试一下centos8国外下载之前版本，下载链接：官网默认下载：https://wiki.centos.org/Download官网之前版本：https://www.centos.org/download/阿里云镜像：http://mirrors.aliyun.com/centos/7.7.1908/isos/x86_
2020-11-17 09:21:16
3157
原创 CentOS之7与6的区别
http://www.360doc.com/content/18/0408/09/41410394_743714794.shtml前言centos7与6之间最大的差别就是初始化技术的不同，7采用的初始化技术是Systemd,并行的运行方式，除了这一点之外，服务启动、开机启动文件、网络命令方面等等，都说6有所不同。让我们先来了解一下系统初始化技术的演变过程。1.系统初始化技术Sysvinit技术Upstart技术Systemd技术Sysvinit技术特点：1.系统第1个进程为init;
2020-11-17 09:20:24
214
原创 hadoop三大核心组件
Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager（3）MapReduce：它其实是一个应用程序开发包。一、HDFSHDFS是一个高度容错性
2020-11-17 09:15:26
2927
原创 什么是HBASE
1.HBASE1.1.1/ 什么是HBASE1.1.1.概念特性HBASE是一个数据库----可以提供数据的实时随机读写HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）Hbase的表模型与关系型数据库的表模型不同：Hbase的表没有固定的字段定义；Hbase的表中每行存储的都是一些key-value对Hbase的表中有列族的划分，用户可以指定将哪些kv插入哪个列族Hbase的表在物理存储上，是按照列族来
2020-11-06 15:03:14
323
原创 hosts文件为空白或删除情况修复
直接输入修改即可ip（baiTab/空格）域名（回车）即可。du如果不放心，复制以下内容zhi修复hosts文件，再修dao改hosts文件。Copyright © 1993-1999 Microsoft Corp.This is a sample HOSTS file used by Microsoft TCP/IP for Windows.This file contains the mappings of IP addresses to host names. Eachentry sho
2020-11-06 15:02:13
11933
原创 Linux最常用命令及快捷键整理
Linux最常用命令及快捷键整理常用命令:文件和目录:cd /home 进入 ‘/home’ 目录cd … 返回上一
2020-11-06 14:59:35
269
原创 ip地址、网关、子网掩码和MAC
总结：IP地址是在网络中唯一标识你的计算机的.子网掩码是区分IP地址中网络部分(包括子网部分)和主机部分的编码.网关:是在一个网络中通向另一个网络的出口.(也是一个IP地址啊)MAC地址:是一个固定的地址,例如我们用的网卡,每个网卡都有一个MAC地址的.在你的计算机中用IPCONFIG/ALL这条命令就可以列出你的这些基本信息MAC地址MAC（Media Access Control或者Medium Access Control）地址，意译为媒体访问控制，或称为物理地址、硬件地址，用来定义网络
2020-11-06 14:58:45
2595
原创 scp命令
https://www.runoob.com/linux/linux-comm-scp.htmlpwd命令概述pwd是Print Working Directory的缩写，其功能是显示当前所在工作目录的全路径。主要用在当不确定当前所在位置时，通过pwd来查看当前目录的绝对路径。pwd命令语法pwd [选项]参数：-L：–logical，显示当前的路径，有连接文件时，直接显示连接文件的路径，(不加参数时默认此方式)，参考示例1。-p：–physical，显示当前的路径，有连接文件时，不使用连接路
2020-11-06 14:57:46
693
原创 securecrt和xshell的区别
现在比较受欢迎的终端模拟器软件当属xshell和securecrt了，很多用户在如何选择上犯了难，下面小编就客观的为大家分析一下两款软件，以便更好选择。 一、功能对比 1、Xshell功能 支持布局切换 可调整执行顺序 提供多标签功能 对linux支持度高 支持IPv6 全球用户的多语言支持 支持用户定义的键映射 灵活和强大的分页式环境 关键输入重定向到多个终端 强大的自动化脚本语言支持 2、Securecrt功能 支持tab，多窗口切换，效率高
2020-11-06 14:56:13
17953
原创 VM常用命令总结
https://www.cnblogs.com/chenyablog/p/10399601.html什么是 vim？Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。简单的来说， vi 是老式的字处理器，不过功能已经很齐全了，但是还是有可以进步的地方。 vim 则可以说是程序开发者的一项很好用的工具。连 vim 的官方网站 (http://www.vim.org) 自己也说 vim 是一个程序开发工具而不是文字处理软件。vim 键盘
2020-11-06 14:54:37
4934
原创 浅谈Hbase和Hive的区别
浅谈Hbase和Hive的区别Hbase和Hive都是大数据处理的重要工具，但两者在大数据架构中处于不同位置，Hbase主要应用于实时数据查询问题，Hive则主要解决数据处理与计算方面。在一般的大数据处理中，两者可以配合使用。下面简单概括一下两者的区别。一、区别：1.Hbase即 HadoopDatabase 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如交易清单、日志明细、轨迹行为等。2. Hive是Hadoop的数据仓库，严格
2020-11-06 14:52:17
1453
原创 MarkdownPad 2 使用手册
#一、为什么要学MarkdownMarkdown是一种轻量级的「标记语言」。用键盘把文字内容打出来的同时搞定排版，从始至终几乎用不上鼠标。可以用来写博客日志、记录代码、写科技论文，记录工科笔记、写文章（简书上）。「易写易读」是Markdown语法的最大亮点，也是它为什么能提高书写效率的原因。Markdown语法十分简单，常用的标记符号不超过十个。Markdown文本轻松可转成HTML等常用的格式，而且排版样式不发生变化。##简单介绍常用的3种编辑器（Atom,MarkDownpad2,Typo
2020-11-06 14:47:20
1252
原创 CSDN的markdown编辑器使用
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-11-06 14:39:21
70
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人