大数据技术
文章平均质量分 72
杨校
历任多个培训大厂的Java讲师,精通JAVA后端开发及培训。主要从事Java体系培训工作,拥有非常丰富的授课经验,另外对企业中采用的微服务也有深刻的理解。精通java,linux,mysql,spring cloud。有丰富的技术培训和技术讲座的经验。相信技术改变人生,一直在不断学习和积累新的知识。
展开
-
大数据技术笔试题库
一、单选:1、下列选项中,执行哪一个命令查看Linux系统的IP配置。A、ipconfigB、findC、ifconfigD、arp -a2、在MapReduce程序中,map()函数接收的数据格式是()。A、字符串B、整型C、LongD、键值对3、下列选项中,关于HDFS的架构说法正确的是()。A、HDFS采用的是主备架构B、HDFS采用的是主从架构C、HDFS采用的是从备架构D、以上说法均错误4、下列选项中,主要用于决定整个MapReduc原创 2022-05-13 09:44:15 · 16395 阅读 · 3 评论 -
杨校老师课题之Hive数据仓库搭建
Hive的安装模式有三种:嵌入模式本地模式远程模式(1) 嵌入模式基于系统本身的数据库derby数据库进行存储元数据,该模式是默认安装方式,配置简单缺点: 一次只能连接一个客户端,仅适合在测试环境内使用(2)本地模式采用外部数据库进行存储元数据,该模式下不需要单独开启MetaStore服务(3)远程模式采用外部数据库进行存储元数据,该模式下需要单独开启MetaStore服务嵌入模式创建存储hive的磁盘目录上传hive的二进制版的安装包解压缩进入hive\bin目录内,原创 2022-04-28 07:50:05 · 3697 阅读 · 1 评论 -
杨校老师课堂之分布式数据库HBase的部署和基本操作
部署分布式数据库——HBase学习背景:以下采用伪分布式方式搭建HBase故而采用内置的Zookeeper协调处理,不再搭建外置ZooKeeper,因此会存在单点故障问题,若需要解决这个情况,可采用Zookeeper部署一个HA(高可用)的Habse集群解决。(1) 安装JDK、Hadoop,这里采用的JDK1.8,Hadoop2.7.4,CentOS7.6(2)下载HBase安装包。官网地址:https://archive.apache.org/dist/hbase 相关大数据框架下载整理原创 2022-04-16 15:01:59 · 3004 阅读 · 0 评论 -
杨校老师课堂之Maven|Tomcat|Hadoop|HBase|Hive|Spark|Redis|MySQL|Navicat|Idea官方历史版本下载地址
最近在做大数据Hadoop集群过程中,发现如下软件的安装下载,寻找起来较为繁琐,故而准备本篇博文,便于下载。当下准备了如下框架、工具的下载,各连接内含有若干的版本,链接皆为官方地址原创 2022-04-14 19:15:00 · 1284 阅读 · 0 评论 -
杨校老师课堂之Hadoop环境搭建(二)
1. 了解Hadoop配置文件1.1 当前所处位置,及内部文件如下[root@hadoop1 hadoop-2.7.4]# ll总用量 116drwxr-xr-x. 2 20415 101 194 8月 1 2017 bindrwxr-xr-x. 3 20415 101 20 8月 1 2017 etcdrwxr-xr-x. 2 20415 101 106 8月 1 2017 includedrwxr-xr-x. 3 20415 101 20 8月原创 2022-03-23 13:22:12 · 3966 阅读 · 0 评论 -
杨校老师课堂之集群内SSH免密登录功能配置
SSH免密登录功能配置1. 在主节点虚拟机内进行如下操作:[root@hadoop1 tmp]# ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identifi原创 2022-03-23 13:19:20 · 3008 阅读 · 0 评论 -
杨校老师课堂之Hadoop环境搭建(一)
一、搭建Java开发环境1. 先查看安装后的镜像中是否存在Java[root@hadoop1 java]# java -versionopenjdk version "1.8.0_181"OpenJDK Runtime Environment (build 1.8.0_181-b13)OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)2. 通过查看,发现原有系统默认安装了open Jdk ,接下来我们卸载原有的Open JDK,安原创 2022-03-23 12:23:37 · 3216 阅读 · 0 评论