大数据
该专栏系统介绍大数据环境搭建过程中的问题
Code-Dragon
书山有路勤为径,学海无涯苦作舟。
展开
-
机器学习:多元线性回归公式推导及代码实战
讲解了多元线性回归公式的推导以及分别用解析解和sklearn两种方法求解发电厂数据集。原创 2020-10-29 11:24:37 · 3984 阅读 · 1 评论 -
大数据分布式集群搭建详细步骤(Spark的安装与配置)
详细步骤:安装scala环境解压Spark的tar包向所有子节点发送 Spark 配置好的安装包测试Spark环境开启Spark集群访问Web界面安装scala环境1、解压scala 的 tar 包首先我们进入到本系统的/opt/soft路径下可以看到我们所提供的 scala 安装包,接下来我们在/usr/下创建 scala 文件夹,然后解压 scala 到我们所创建的 scala 工作路径中,具体操作如下图所示:[root@master ~]# cd /opt/soft/[root@master原创 2020-08-25 14:45:03 · 2215 阅读 · 0 评论 -
大数据分布式集群搭建详细步骤(HBase的安装与配置)
大数据分布式集群搭建详细步骤(HBase的安装与配置)1、创建HBase安装目录并解压[root@master ~]# mkdir -p /usr/hbase[root@master ~]# tar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C /usr/hbase/2.修改hbase-env.sh一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群原创 2020-08-23 14:46:37 · 438 阅读 · 0 评论 -
大数据分布式集群环境搭建详细步骤(Zookeeper,Hadoop安装与配置)
大数据分布式集群环境搭建详细步骤(Zookeeper,Hadoop安装与配置)前言:前面我们完成了Linux系统的安装及网络配置,接下来我们继续完成Zookeeper和Hadoop的安装与配置。...原创 2020-08-23 11:47:27 · 1074 阅读 · 0 评论 -
大数据分布式集群环境搭建详细步骤(Linux环境搭建及网络配置)
前言:大数据分布式集群环境搭建对于初学者来说较为繁琐复杂,网上教程也参差不齐,本人在学习大数据的过程中踩过不少坑,希望记录下来,我们大家互相学习,让学习成为一种习惯。博客中如果有需要改进的地方,希望大家不吝赐教。原创 2020-08-14 02:57:09 · 2395 阅读 · 3 评论 -
配置zookeeper集群产生异常Error contacting service.It is probably not running解决方案
异常信息:检查防火墙是否关闭systemctl status firewalld(CentOS)若防火墙为active则用systemctl stop firewalld 关闭防火墙2.查看zoo.cfg 下配置文件中dataDir和datalogDir目录是否创建,若目录无创建,创建相应目录3.检查每台主机下配置文件中的dataDir的路径是否为myid文件的路径4.检查配置文件注意:这里的server.?=A:2888:3888,?的内容与每台主机下myid编号一致,表示这是原创 2020-05-17 09:06:37 · 499 阅读 · 2 评论