install
文章平均质量分 64
the install of tools for bigdata
尘客.
大数据开发攻城狮
展开
-
Centos 7 安装配置Solr 8.10
在此以Cloud模式安装Solr,在此假设你已安装配置好zookeeper集群。0 下载安装包,在此使用最新版8.10.1https://solr.apache.org/downloads.htmlhttps://www.apache.org/dyn/closer.lua/lucene/solr/8.10.1/solr-8.10.1.tgz1 使用root账户或sudo在每台节点上创建solr用户并设置密码为solruseradd solrecho solr | passwd --stdin原创 2021-11-07 13:45:27 · 616 阅读 · 0 评论 -
Centos 7 安装配置Maven 3.8(多仓库配置)
0 从官网下载最新版maven,在此用的是3.8.3https://maven.apache.org/download.cgi1 上传server并解压到安装目录tar -zxvf apache-maven-3.8.3-bin.tar.gz -C /usr/sft/2 配置maven仓库信息,vi /usr/sft/maven-3.8.3/conf/settings.xml(1)找到mirrors标签对,添加如下配置<mirror> <id>alimav原创 2021-11-05 17:37:08 · 929 阅读 · 0 评论 -
kafka集群配置与启动
这里以kafka 0.11版本为例。将kafka tar包解压到对应路径顺便改个名:tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/SFT/mv kafka_2.11-0.11.0.0 kafka-0.11修改config/server.properties部分配置如下(个人机实验环境下的配置):# The id of the broker. Th...原创 2019-09-16 19:32:30 · 348 阅读 · 0 评论 -
Centos 7 安装配置Hive 3.1.2笔记
在此进行Hive-3.1.2并以Mysql作为元数据库的基本安装配置,假设你已安装好Mysql数据库(Mysql安装配置可见:)。1 软件下载#Hive 3.1.2https://dlcdn.apache.org/hive/hive-3.1.2/#Mysql Connector, 注意下载Platform Independent版本,并解压得到Jar包https://dev.mysql.com/downloads/connector/j/2 解压Hive到对应目录tar -zxvf apa原创 2021-10-16 14:58:14 · 341 阅读 · 0 评论 -
Centos 7 安装配置mysql 5.7 超详细笔记
1 检查系统是否有自带Mysql老版本rpm -qa | grep mari2 若有进行卸载rpm -e --nodeps mariadb-libs3 Mysql 5.7官方下载https://dev.mysql.com/downloads/mysql/5.7.html4 解压下载安装包tar -xvf mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar -C /usr/sft/mysql-5.7/5 按以下顺序进行安装rpm -ivh mysql-co原创 2021-10-16 11:43:04 · 1168 阅读 · 1 评论 -
linux下安装配置java环境
环境:centOS6.8、jdk80、检查删除原有jdk或默认openjdk以节约空间或避免冲突#检查jdkrpm -qa | grep java #删除对应程序包rpm -e --nodeps PNAME或yum remove *openjdk*1、上传jdk压缩包、解压到对应目录tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/SF...原创 2019-10-26 14:14:37 · 232 阅读 · 0 评论 -
spark集群HA配置
环境:spark2.1.1、zookeeper3.4.121、首先保证zookeeper集群正常安装并启动zookeeper安装配置笔记2、修改spark-env.sh文件做如下配置注释掉如下内容(若预先安装了spark集群standlone模式):#SPARK_MASTER_HOST=chdp11#SPARK_MASTER_PORT=7077添加上如下内容:#配置故障恢复模式为z...原创 2019-10-26 08:42:37 · 612 阅读 · 0 评论 -
外网访问需求下的虚拟机节点网络配置
太久没有搭建集群环境,有些配置文件的名字都记不太清了。这次在自己的电脑上搭建了一个虚拟机集群,为了以后工作学习中能够在忘记相关细节配置后可以快速的回忆起来,在此将几个关键点进行记录,毕竟好记性不如烂笔头。环境:vmware12+centos6.8(minimal安装)注:关于基本的网段、网关、DNS、防火墙之类的问题不再赘述记录,若模糊了忘记了得好好反思了。此外关于免密登录、局域网yum源搭建...原创 2019-08-06 15:08:44 · 3180 阅读 · 0 评论 -
搭建一个最简单mysql主从复制
在之前的学习中对mysql的主从复制都还只是停留在理论层次,在此结合理论进行实践操作学习做个笔记,以便在以后的学习中能够快速回顾。先来复习一下相关理论吧。在海量数据背景下,单台服务器节点已经无法满足数据运算存储需求;单核处理器运算力发展摩尔定律已在2005年就已经失效了,在受限于单核运算力瓶颈之下,讨论单台计算机运算力主要还是集中在多核拓展上。进而衍生出了分布式运算概念,而数据的存储同样孕育而...原创 2019-08-13 20:26:07 · 241 阅读 · 0 评论 -
去中心化redis集群搭建
之前学redis时,都是在单实例节点上进行操作,而作为一个可灵活横向拓展的键值数据库,分布式搭建形成服务集群能更好的体验出其魅力现在。一直没时间去进行实际的分布式搭建,主要是觉得它简单,但最近进行集群搭建的实践操作时却出现了一些错误,故而进行记录学习。实验环境:centos6.8、redis3.2.5虚拟机配置了DNS:chdp01单节点配置多实例redis服务伪分布式首先需要进行常规的...原创 2019-08-16 20:49:38 · 1223 阅读 · 0 评论 -
hadoop 2.7 集群搭建笔记
以下简单记录了hadoop集群搭建的几个配置文件基本配置,在此基础上进行了mapreduce/yarn的history log拓展配置。hadoop集群搭建需要配置四个基本xml文件:1 core-site.xml2 hdfs-site.xml3 yarn-site.xml4 mapred-site.xml (cp/mv from mapred-site.xml.template)这...原创 2019-08-20 22:56:34 · 468 阅读 · 1 评论 -
hive安装与相关属性配置
在已配置好hdfs、yarn集群环境前提下进行hive的安装配置。hive被同时维护了1.x,2.x,3.x版本,在此以1.2.1版本作为实验。1、将hive解压到相应路径(根据自己实际情况,在此将hive解压到/usr/SFT/路径下,并修改为了hive-1.2.1),我的hive路径为:/usr/SFT/hive-1.2.1,以下简称HIVE_HOME#decompress hive ...原创 2019-09-29 20:08:04 · 183 阅读 · 0 评论 -
zookeeper集群安装配置笔记
使用zk版本:3.4.121 conf/zoo.cfg(mv zoo_sample.cfg zoo.cfg)dataDir=/usr/SFT/zookeeper-3.4.12/zkData#server.[myid]=[zkHost]:[communicationPort]:[electionPort]server.1=chdp11:2888:3888server.2=chdp12:28...原创 2019-09-29 19:52:15 · 1213 阅读 · 0 评论 -
Yarn HA搭建
基本集群搭建见这篇博客:hadoop集群搭建笔记在基本集群搭建上配置下述文件yarn-site.xml<configuration><!-- Site specific YARN configuration properties --><!-- the mode of data acquirement in reduce--><propert...原创 2019-09-26 12:03:39 · 236 阅读 · 0 评论 -
HDFS HA搭建 (ZKFC自动故障转移)
基本集群搭建见这篇博客:hadoop集群搭建笔记HA搭建配置:hdfs-site.xml<configuration> <!-- set the replication of file, needed base on number of datanode --><property> <name>dfs.replication</...原创 2019-09-26 11:56:07 · 1115 阅读 · 0 评论 -
sqoop安装配置与数据导入、导出基本操作案例详述(hdfs、hive、hbase与mysql+脚本打包执行)
基本环境描述:centos6.8+sqoop1.4.6此外sqoop需要依赖于hadoop。在这里需要用到hbase(需要依赖zookeeper)、hive与mysql关系数据库之间的数据导入/导出,在此基本的依赖环境都已搭建好。一、sqoop安装配置1 修改sqoop-env.sh(mv from sqoop-tmplate-env.sh),具体更具自己的环境以及需求来配置。expo...原创 2019-09-25 20:21:05 · 875 阅读 · 0 评论 -
kafka Web UI可视化监控搭建 (kafka eagle,附JVM参数解释)
0、eagle github地址附上:https://github.com/smartloli/kafka-eagle,这里采用的是kafka-eagle-web-1.3.71、修改KAFKA_HOME/bin/kafka-server-start.shif [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-ser...原创 2019-09-18 20:53:19 · 8577 阅读 · 2 评论 -
centos下的hbase简单安装配置与HA
这里采用的版本为1.3.10、解压hbase到对应目录下。1、修改conf/hbase-env.sh文件# The java implementation to use. Java 1.7+ required.export JAVA_HOME=/usr/SFT/jdk1.8.0_191# Tell HBase whether it should manage it's own inst...原创 2019-09-18 21:24:02 · 166 阅读 · 0 评论 -
log4j的简易配置及maven依赖
经常要用的东西,做个简单笔记吧。#error,warn,info,debuglog4j.rootLogger=debug, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender...原创 2019-09-17 18:35:33 · 3181 阅读 · 0 评论 -
Oozie安装配置笔记
记得刚开始学习hadoop时,在涉及到多个MR job串联依赖执行中会在Driver代码段运用JobController进行调度,而在代码中进行作业调度终归是不太灵活。后面接触到了oozie作业调度,它基于工作流很好的解决了JobController在代码层面的耦合问题,提高了作业调度的灵活性。尤其在定时任务方面要比crond更加灵活。功能模块一、 模块Workflow顺序执行流程节点,...原创 2019-10-03 17:29:22 · 233 阅读 · 0 评论