![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 55
中国国民杨某
这个作者很懒,什么都没留下…
展开
-
Meven Scala项目依赖
<properties> <spark.version>2.0.0</spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <dependency> <groupId&...原创 2021-06-05 17:01:43 · 128 阅读 · 0 评论 -
scala基础语法
scala语法操作软件idea1.main方法object test{ //静态类def main(args:Array[String]):Unit={//快捷键与java相同println("aaa")}args:Array[String] 代表数组Array[String] 数组类型:Unit 无返回值,Uint为返回值的类型 相当于java的void}2.变量声明1.var 变量名:类型=值,自带get,set2.val 变量名:类型=值(常量)原创 2021-06-03 15:04:09 · 153 阅读 · 0 评论 -
centos7下hive安装配置
一、确认电脑已经安装jdk、Hadoop、MySQL二、上传Hive压缩文件到指定目录,如/opt/soft三、解压Hive(我的是直接解压在了opt/soft目录下)tar -zxvf apache-hive-1.1.0-bin.tar.gz四、重命名mv apache-hive-1.1.0-bin/ hive五、配置profile环境变量1)进入文件vim /etc/profile2)添加配置内容export HIVE_HOME=/opt/soft/hiv原创 2021-06-03 14:38:13 · 126 阅读 · 0 评论 -
centos7下zookeeper安装及搭建集群
1.下载Zookeeper:https://archive.apache.org/dist/zookeeper/2.上传zookeeper到linux服务器/opt/soft/3.解压zookeeper安装包tar -zxvf zookeeper-3.4.6.tar.gz4.重命名mv zookeeper-3.4.6zookeeper5.配置环境变量并使其生效1)进入文件vim /etc/profile2)配置export ZOOKEEPER_HOM...原创 2021-06-02 17:27:25 · 76 阅读 · 0 评论 -
kafka组件基本操作
1.创建主题需要来/kafka/config里运行kafka-topics.sh --create --zookeeper hadoop0:2181 --replication-factor 1 --partitions 1 --topic test kafka-topics.sh 来对 kafka 中的主题进行操作和管理,可以对其主题进行创建、修改、删除以及查看等功能。--zookeeper hadoop0:2181 zookee...原创 2021-05-30 20:48:07 · 102 阅读 · 2 评论 -
centos7下kafka集群搭建
前置条件:zookeeper搭建完成,三台虚拟机,kafka安装包1. 解压kafka安装包1.进入要安装的目录,我的安装包直接放在了安装的目录,并解压cd /opt/softtar -zxvf kafka_2.11-1.0.0.tgz2.修改解压后的文件名mv kafka_2.11-1.0.0/ kafka2. 修改系统变量(按自己需要进入不同的文件,我这里对全部的配置了)1入配置文件并修改vim /etc/profileexport KAFKA_HOME=/o原创 2021-05-27 20:15:33 · 99 阅读 · 2 评论 -
在cenos7中spark集群搭建
前置条件 hadoop安装 jdk安装安装位置放在/opt/soft中1.将spark-2.4.7-bin-hadoop2.7.tgz通过xFTP上传tar -zxvf /opt/soft/spark-2.4.7-bin-hadoop2.7.tgz -C /opt/soft2.进入/opt/softcd /opt/soft3.解压tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz4.删除 spark-2.4.7-bin-hadoop2.7..原创 2021-05-25 14:13:56 · 71 阅读 · 0 评论 -
cenos7hadoop伪分布式搭建
我的hadoop安装在了 opt/soft 目录下前置条件 1.hadoop安装 2.jdk安装一、修改配置文件:core-site.xml,hdfs-site.xml,yarn.site.xml,mapred-site.xml!!!!四个文件的配置内容均放置在内1.core-site.xml 1. 进入配置文件目录下cd /opt/soft/hadoop/etc/hadoop 2.打开配置文件vim core-si...原创 2021-04-15 09:17:36 · 189 阅读 · 0 评论 -
sqoop基本操作(附带命令详细讲解)(初学者)
sqoop操作我测试的数据库为bigdata 表为goods使用需要hadoop伪分布式、集群或者高可用,以及hive1.连接数据库命令:sqoop-list-tables --connect jdbc:mysql://localhost:3306/bigdata --username root --password 123456--connect jdbc:mysql://localhost:3306/bigdata :数据库位置,localhost也可以...原创 2021-04-12 17:30:47 · 1212 阅读 · 0 评论