Real09-CSDN博客

原创 hadoop常用配置文件

目录Hadoop2.x配置：1.hadoop-env.sh/yarn-env.sh/mapred-env.sh2.core-site.xml3.hdfs-site.xml4.yarn-site.xml5.mapred-site.xml6.xsync7.vim /etc/profile8.myhadoop.sh9.jpsallHadoop3.x配置：1.core-site.xml2.yarn-site.xml3.mapred-site.xml4.

2021-09-11 21:19:52 631

原创 zookeeper的安装和常见命令

zookeeper的安装以下操作都是在hadoop15上进行。1．安装前准备（1）安装Jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/2．配置修改（1）将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；mvzoo_sample.cfg zoo.cfg（2）打开..

2021-09-11 20:55:24 128

原创 git和github的常用命令

git常见命令：1.初始化：1. 进入项目目录cd employee-system/2. 本地库初始化git init3.设置签名3.1项目级别（仓库级别）签名信息保存位置：./.git/config 文件git config user.name real_progit config user.email real_pro@qq.com3.2系统用户级别签名信息保存位置：~/.gitconfig 文件git config --globa...

2021-09-11 16:16:15 175

原创 flume对接kafka：

1.依次在hadoop15、 hadoop16、 hadoop17节点上启动 kafkabin/kafka-server-start.sh -daemon config/server.properties2.创建 topicbin/kafka-topics.sh --zookeeper hadoop15:2181 --create --replication-factor 3 --partitions 1 --topic first3.编写配置文件vim flume-kafka.conf

2021-09-10 09:09:02 76

原创 Redis安装和常见命令行操作

目录1.Redis的安装2.Redis启动3.常见操作命令常见操作1：1.Redis的安装1.解压tar -zxvf redis-3.0.4.tar.gz -C /opt/devtools/2.进入解压后的目录：redis-3.0.42.1 执行：make注意：如果make命令出现错误解析，是因为没有安装gcc，安装完gcc后，执行：make distclean 后再次执行：make安装gcc命令（联网情况下）：yum install gcc-c++

2021-09-05 23:19:11 83

原创 Kafka安装和常见命令行操作

目录1.Kafka集群部署2.启动Kafka集群3.Kafka常见命名行操作1.Kafka集群部署1.解压安装包：tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/devtools/2.修改解压后文件夹名称：mv kafka_2.11-0.11.0.0/ kafka/3.在 /opt/devtools/kafka/目录下创建 logs文件夹mkdir logs4.修改配置文件vim config/server.prope

2021-09-04 11:35:28 104

原创 HBase的安装和常用命名行操作

1.HBase安装1.环境准备1.首先保证Zookeeper集群的正常部署，并启动之：bin/zkServer.sh start2.Hadoop集群的正常部署并启动：启动HDFS：sbin/start dfs.sh启动yarn：sbin/start yarn.sh2.安装HBase3.解压HBase到指定目录：tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module4.修改HBase对应的配置文件：4.1 hbase-en

2021-09-04 08:17:57 106

原创确保当前线程只创建一个对象实例的方法

通过本地线程的方法：package ct.common.bean;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Admin;import org.apache.hadoop.hbase.client.Connection;import org.apache.hadoop.hb

2021-09-03 09:21:37 153

原创加载类路径下配置文件的常用方法

1.通过当前类加载器代码实现（加载数据库连接信息）：public class ConnectionDemo { @Test public void test5() throws Exception{ //1. 读取配置文件的基本信息 InputStream is = ConnectionDemo.class.getClassLoader().getResourceAsStream("jdbc.properties"); Properties properties = new

2021-09-03 08:39:44 263

real的博客