hadoop
文章平均质量分 68
@小蜗牛
这个作者很懒,什么都没留下…
展开
-
4、安装部署Spark(Spark on Yarn模式)
执行ls -l命令会看到下面的图片所示内容,这些内容是Spark包含的文件:4.2.1.2在文件末尾添加如下内容;保存、退出4.2.1.3重新编译文件,使环境变量生效4.3验证Spark安装4.3.1修改${HADOOP_HOME}/etc/Hadoop/yarn-site.xml;说明:在master和slave01、slave02节点都要如此修改此文件4.4重启hadoop集群(使配置生效)4.5进入Spark安装主目录4.5.1执行下面的命令(注意这是1行代码):4.5原创 2022-06-15 16:40:34 · 4377 阅读 · 0 评论 -
安装部署Hive数据仓库
3.1.2查看解压后hive目录中包含的文件注意:如果未安装MySQL,则参考文档第二大步安装mysql主要两种情况3.2.3.2启动MySQL服务3.2.3.3重新查看MySQL运行状态,确保启动成功3.3向MySQL中添加hadoop用户和创建名为(hive)的数据库3.3.1以root用户登录MySQL(注意:这里的root是数据库的root用户,不是系统的root用户)3.3.1.1登录mysql(密码:zkpk)3.3.1.4退出MySQLmysql> exit;原创 2022-06-15 16:28:06 · 573 阅读 · 0 评论 -
Linux yum安装MySQL
注意:只需要在master节点安装mysql先装mysql源,再装mysql2.2查看并卸载系统自带的mariadb-lib数据库2.3添加MySQL yum源注意:此步骤需要联网操作2.3.2安装mysql源2.3.3检查mysql源是否安装成功注意:安装mysql服务端时,客户端会作为依赖自动安装2.5.2查看MySQL的启动状态(出现图中绿色running字样表示成功)2.7修改root默认密码2.7.1查看mysql安装生成的随机默认密码(/var/log/mysq原创 2022-06-15 16:17:42 · 279 阅读 · 0 评论 -
安装部署Hadoop集群
说明:每个节点上的Hadoop配置文件相同,所以在master节点配置hadoop文件夹,然后复制到slave01、slave02节点。配置hadoop-env.sh文件配置yarn-env.sh文件配置hdfs-site.xml文件配置yarn-site.xml文件配置mapred-site.xml文件配置slaves文件创建Hadoop数据目录master节点上slave01节点slave02节点Web UI查看集群是否成功启动在左上角Appli原创 2022-06-15 15:54:55 · 529 阅读 · 0 评论 -
三台节点分别安装JDK
hadoop的jdk部署原创 2022-06-15 14:45:10 · 256 阅读 · 0 评论 -
分布式节点免密登录
免密钥登录配置原创 2022-06-15 13:51:33 · 229 阅读 · 0 评论 -
hive学习小计
hive order by 后跟 别名,HIve只能用聚合函数的别名排序,不可以用聚合函数的表达式排序原创 2022-06-05 15:25:19 · 126 阅读 · 0 评论 -
encoderMapReduce 随手记
目录1、MapReduce定义2、MapReduce统计两个文本文件中,每个单词出现的次数hadoop的MapReduce与hdfs中一定要先启动start-dfs.sh3、用MapReduce计算班级每个学生的最好成绩4、 MapReduce 文件内容合并去重1、MapReduce定义将这些数据切分成三块,然后分别计算处理这些数据(Map),处理完毕之后发送到一台机器上进行合并(merge),再计算合并之后的数据,归纳(reduce)并输出。Java 中包含3个函数:map分割数据集red原创 2022-04-10 15:59:19 · 108 阅读 · 0 评论 -
encoder 基于品高云数据湖的大数据开发实践课程(随手记)-HDFS 的基本操作和 Java API 操作
HDFS 的基本操作和 Java API 操作原创 2022-04-09 20:23:58 · 1798 阅读 · 0 评论 -
encoder Hadoop大数据基础(随手小计)
目录JDK配置环境变量Hadoop安装与伪分布式集群搭建相关知识点Hadoop?1、Hadoop是什么?2、Hadoop能干什么?3、Hadoop怎么使用?SSH?NameNode(管理节点)与DataNode(工作节点)JDK配置环境变量解压好JDK之后还需要在环境变量中配置JDK,才可以使用,接下来就来配置JDK。输入命令:vim /etc/profile 编辑配置文件;JAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.ja原创 2022-04-04 15:24:05 · 2117 阅读 · 0 评论