软件安装及环境配置等
软件安装及环境配置等
Joie.
这个作者很懒,什么都没留下…
展开
-
scala和spark安装配置
spark安装配置1、scala安装配置2、spark安装配置1、scala安装配置2、spark安装配置原创 2020-11-02 09:22:29 · 366 阅读 · 0 评论 -
IntelliJ IDEA安装scala插件并创建scala示例
IntelliJ IDEA安装scala插件并创建scala示例安装Scala插件和编译器安装Scala软件创建Scala工程安装Scala插件和编译器1、首先确定IntelliJ IDEA对应的scala版本在IDEA的File下找到Setting点进Setting,找到Plugins,点击左下方框得按钮在搜索框内查找scala,查看对应的版本号2、搜索网站https://plugins.jetbrains.com/plugin/1347-scala后,点击Version Histor原创 2020-10-19 14:41:11 · 309 阅读 · 0 评论 -
zeppelin安装配置
zeppelin安装配置一、下载安装包上传并解压修改配置文件四、启动zeppelin五、配置hive解释器六、使用Zepplin的hive解释器一、下载安装包http://zeppelin.apache.org/download.html进入页面后可以选择相应版本进行下载,我们这里选择zeppelin-0.8.1-bin-all.tgz上传并解压我们先将下载好的zeppelin包上传至Linux解压zeppelin包至/opt目录下tar -zxvf zeppelin-0.8.1-bi原创 2020-09-19 15:23:20 · 504 阅读 · 0 评论 -
Hive安装配置
Hive安装配置Hive理论Hive安装配置Hive理论1、Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。2、Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存原创 2020-09-15 19:52:33 · 203 阅读 · 0 评论 -
HBase安装配置
HBase安装配置HBase理论一级目录HBase理论HBase1、Hbase是hadoop领域的的数据库2、Hbase是面向列存储的列式数据库1)行式数据库优缺点a、数据在表中的位置空间是确定的,指针在访问只要知道首地址就可以高效获取其他数据b、但在常用的可能只是所有列中的部分列的数据,可是行式数据库会自动查询所有的列,只是在客户端进行数据的过滤,会浪费大量的带宽和空间2)列式数据库的优缺点a、一张不规则的表(人物画像)每行属性有大量的nullb、类似于交错数组,只使用在特原创 2020-09-15 19:41:06 · 154 阅读 · 0 评论 -
hadoop高可用HA集群配置
hadoop HA模式搭建一 、 搭建集群二 、修改配置文件三 、启动集群四 、测试集群是否部署成功一 、 搭建集群Hadoop HA模式搭建前需要完成hadoop集群配置、时区同步设置和zookeeper安装配置二 、修改配置文件修改core-site.xml文件<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</原创 2020-09-10 18:57:46 · 246 阅读 · 0 评论 -
时区同步和zookeeper集群配置
配置集群的时间同步大数据系统是对时间敏感的计算处理系统,时间同步是基础保障,是大数据得以发挥作用的技术支撑,所以需要保证所有机器时间同步!确认是否安装过ntp: rpm -qa | grep ntp,若有的话使用:yum -y remove 相关文件名命令卸载安装ntp: yum -y install ntp修改所有节点的ntp配置文件: vi /etc/ntp.conf,添加如下内容:#当前节点IP地址restrict 192.168.206.33 nomodify notra原创 2020-09-09 17:21:43 · 181 阅读 · 0 评论 -
ELK集群搭建
复制虚拟机克隆2台虚拟机修改主机名和主机列表1.网络地址 (1)输入:vi /etc/sysconfig/network-script/ifcfg-enp0s3 修改网络ip地址2.主机名 (1)hostnamectl set-hostname test01 (2)vi /etc/hostname 内容修改为test013.主机列表 (1)vi /etc/hosts 内容增加 主机的ip地址 主机名配置免密登录1.ssh-keygen -t rsa -P ""原创 2020-09-08 14:05:11 · 102 阅读 · 0 评论 -
hadoop安装和基本配置
Hadoop安装1.Jdk(建议使用JDK 1.8.11)2.Tar hadoop.tar.gz(建议使用Hadoop 2.7.3)3.配置环境变量export JAVA_HOME=/usr/local/softwave/jdk1.8.0_111export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATHexport CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVAHOME/原创 2020-09-03 16:17:28 · 145 阅读 · 0 评论 -
MySQL安装步骤
linux虚拟机安装mysql(完整)步骤1、网络配置(仅主机:static,IPADDR=ip地址)2、重启网络:systemctl restart network3、停止和禁用防火墙systemctl stop firewalldsystemctl disable firewalld4、moba远程连接虚拟机5、上传安装包(1个jdk,2个mysql)6、解压jdk包:tar -zxvf jdk…7、配置环境变量:vi /etc/profile(JAVA_HOME、CLASSPATH、原创 2020-08-11 20:18:41 · 490 阅读 · 0 评论 -
JDK的安装及环境变量配置
JAVA初体验JDK的安装及环境变量下载安装可以注册一个Oracle账户后,在官网下载JDK 8 以上的版本,下载完成城后直接运行文件安装,安装完成后,形成两个目标。环境变量设置首先找到我的电脑右击后单击属性 ,然后点击里面的高级系统设置。然后点击里面的环境设置。在系统变量中新建“JAVA_HOME"和"CLASSPATH”。接着找到Path变量,并在里面新建"%JAVA_HOME%\bin"和"%JAVA_HOME%\jre\bin"。最后逐一确认就可以。验证安装验证j原创 2020-07-06 20:15:53 · 134 阅读 · 0 评论