- 博客(17)
- 收藏
- 关注
RSS订阅原创 wget下载jdk8的方法
经过一天的查阅 不停试错总结出了在jdk8u 141以下的版本可以直接使用wget下载wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef
2021-09-14 20:18:06
5217
3
原创 Hive案例实操入门项目-WordCount
在Hive中实现Wordcount使用到的函数：函数名使用方法解释splitsplit(参数,“分隔符”)用于切分数据，也就是将一串字符串按指定的分隔符切割成了一个数组explodeexplode(数组)用于打散行的函数（将一行的数据拆分成多行，它的参数必须为map或array）。这个函数常和split()并用coountcount(需要计数的列)返回多条数据中参数出现的总次数WordCount数据Wordcount.txtworld hadoop
2021-09-01 15:30:47
429
1
原创 Hadoop组件搭建-Hadoop全分布式
在操作之前请先确保java成功安装并且把前置要求完成解压Hadoop将hadoop-2.6.0.tar.gz解压到root下tar -zxvf hadoop-2.6.0.tar.gz -C /root把hadoop解压出来的文件改名成hadoopmv hadoop-2.6.0 hadoop配置Hadoop环境变量export HADOOP_HOME=/root/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin刷新环境变
2021-07-19 00:03:46
218
原创 Hadoop组件搭建-Zookeeper
在操作之前请先确保java成功安装并且把前置要求完成解压解压zookeeper包到root下tar -zxvf zookeeper-3.4.5.tar.gz -C ~/更改文件名mv zookeeper-3.4.5 zookeeper配置环境变量给Zookeeper添加环境变量vim /etc/profile新增export ZK_HOME=/root/zookeeperexport PATH=PATH:PATH:PATH:ZK_HOME/bin刷新环境变量source
2021-07-18 23:55:31
145
原创 Hadoop组件搭建-前置要求
准备三台机器机器名IPmaster172.16.1.2slave1172.16.1.3slave2172.16.1.4为三台机器添加ip映射名称（三台都要操作）vim /etc/hosts在文件底部新增172.16.1.2 master172.16.1.3 slave1172.16.1.4 slave2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lIZq90IT-1625111921869)(:/b99f5df94
2021-07-18 23:55:16
136
原创 Hadoop组件搭建-Hadoop伪分布式
在操作之前请先确保java成功安装解压Hadoop将hadoop-2.6.0.tar.gz解压到root下tar -zxvf hadoop-2.6.0.tar.gz -C /root把hadoop解压出来的文件改名成hadoopmv hadoop-2.6.0 hadoop配置Hadoop环境变量export HADOOP_HOME=/root/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin刷新环境变量source /
2021-07-18 23:55:04
135
原创 Hadoop组件搭建-SCALA SPARK
Scala解压更名环境变量vim /etc/profileexport SCALA_HOME=/root/scalaexport PATH=$PATH:$SCALA_HOME/bin刷新环境变量source /etc/profileSpark解压环境变量vim /etc/profileexport SPARK_HOME=/root/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin刷新环境变量source /et
2021-07-18 23:54:53
214
原创 Hadoop组件搭建-Sqoop
解压配置环境变量vim /etc/profileexport SQOOP_HOME=/root/sqoopexport PATH=$SQOOP_HOME/bin:$PATH刷新环境变量source /etc/profile配置文件进入sqoop conf配置文件夹cd sqoop/conf将sqoop-env-template.sh改名为sqoop-env.shmv sqoop-env-template.sh sqoop-env.shvim sqoop-env.shexport
2021-07-18 23:54:22
141
原创 Hadoop组件搭建-Hive
Hive需要先安装Mysql解压文件包配置环境变量vim /etc/profile export HIVE_HOME=/root/apache-hive-2.0.0 export PATH=HIVE_HOME/bin:PATH刷新环境变量source /etc/profile在mysql新建数据库create database hive_db;配置hive-site.xml把hive-default.xml.template 复制成 hive-site.xml<proper
2021-07-18 23:54:09
156
原创 Hadoop组件搭建-Mysql
Mysql数据库的安装检查是否有冲突包rpm -qa | grep mariadb卸载rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64安装rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpmrpm -ivh mysql-community-client-5.7.18-1.el7.x8
2021-07-18 23:53:57
169
原创 Hadoop组件搭建-Hadoop HA高可用
在操作之前请先确保java成功安装并且把前置要求完成安装HA需要zookeeper组件 请先安装好Zookeeper 组件解压Hadoop将hadoop-2.6.0.tar.gz解压到root下tar -zxvf hadoop-2.6.0.tar.gz -C /root把hadoop解压出来的文件改名成hadoopmv hadoop-2.6.0 hadoop配置Hadoop环境变量export HADOOP_HOME=/root/hadoopexport PATH=$PATH:$HADO
2021-07-18 23:53:43
179
原创 Hadoop组件搭建-jdk
配置环境变量vi /etc/profileexport JAVA_HOME=/root/javaexport PATH=$JAVA_HOME/bin:$PATH 刷新环境变量source etc/profile验证配置输入java -version
2021-07-18 23:53:25
112
原创 Hadoop的组件搭建笔记
该文章仅用于个人笔记，如果您觉得不专业或者有误导，打扰到您，请谅解。Hadoop组件搭建-前置要求Hadoop组件搭建-jdkHadoop组件搭建-Hadoop伪分布式Hadoop组件搭建-Hadoop全分布式Hadoop组件搭建-ZookeeperHadoop组件搭建-Hadoop HA高可用Hadoop组件搭建-MysqlHadoop组件搭建-HiveHadoop组件搭建-SqoopHadoop组件搭建-SCALA SPARK...
2021-07-18 23:51:47
405
1
原创 在Centos 7上对Hadoop三种模式(伪分布式 分布式 分布式ha)的搭建 详细配置
Hadoop三种模式（伪分布式、分布式、分布式HA）的搭建 详细配置Hadoop的三种模式搭建新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Hadoop的
2021-03-25 16:18:34
256
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人