- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBASE个人学习笔记
hbase 简介是一个分布式存储系统 列式的分布式数据库安装tar -zxvf hbase-0.99.2-bin.tar.gz -C /appscd /appsmv hbase-0.99.2-bin.tar.gz hbasecd /apps/hbase/confvi hbase-env.shexport JAVA_HOME=/usr/local/jdk1.7.0_45export JAVA_CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.
2021-04-18 22:48:09
101
原创 sqoop个人学习笔记
sqoopsqoop是一个hadoop和关系型数据库之间的传送数据的工具安装tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /apps/mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoopcd /apps/sqoop/confmv sqoop-env-template.sh sqoop-env.shwhich hadoop/apps/hadoop-2.6.4/bin/hadoopvi s
2021-04-18 22:45:11
101
原创 azkaban个人学习笔记
azkabanazkaban 工作流调度器安装：azkaban-executor-server-2.5.0.tar.gzazkaban-sql-script-2.5.0.tar.gzazkaban-web-server-2.5.0.tar.gzmkdir azkabantar -zxvf azkaban-web-server-2.5.0.tar.gz -C /apps/azkaban/tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /app
2021-04-18 22:43:18
104
原创 flume个人学习笔记
flumeflume介绍是一个分布式 可靠和高可用的海量日志采集聚合和传输的系统agent节点 source采集源 sink 下沉地 目的地安装tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /apps/从网络端口接受数据 下沉地conf 目录下vi netcat-logger.confa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = netcat spoolDir
2021-04-18 22:39:43
72
原创 hive个人学习笔记
hivehive是基于hadoop的一个数据仓库工具，可以把一些结构化数据文件映射为一张数据库表。安装yum install mysql -y修改root 用户密码mysqladmin -u root password 123456mysql连接赋权grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;flush privileges;tar -zxvf apache-hive-1.
2021-04-18 22:37:39
403
原创 hadoop个人学习笔记
hadoop安装一、单个namenode集群搭建1、简单概念机器node1 node2 node3 node4uri概念–统一资源定位符hdfs://node1:9000 urifield///jdbc:mysql://localhost:3306安装jdkJAVA_HOME=/usr/local/jdk1.7.0_45/2、解压文件tar -zxvf hadoop-2.6.4.tar.gz -C /appsln -s /apps/hadoop-2.6.4 hadoop修改配置文
2021-04-18 22:31:10
282
原创 zookeeper个人学习笔记
zookeeper简介提供数据保管 提供节点监听zk 是个集群 机器是奇数个最少三台 由半数以上节点的存活 正常服务zk是一个分布式协调服务 为用户的分布式应用程序提供协调服务zk角色 leader followerzk的选举机制 paxos、zab算法安装jdk 自动化部署脚本需要配置 myid和需要的服务器 leader是自己选择产生的安装安装windows上传文件到linux虚拟机软件rzyum install lrzszrz 连接wondiws创建安装目录mkdir
2021-04-18 21:53:16
67
原创 安装nginx和keepalived
安装nginx和keepalived安装nginxyum -y install pcre-develyum -y install openssl openssl-devel获取压缩包wget http://nginx.org/download/nginx-0.8.33.tar.gz解压tar -zxvf nginx-0.8.33.tar.gz -C /usr/local/nginx-0.8.33检查配置文件cd nginx-0.8.33./configure --prefix=/usr/
2021-04-18 21:42:45
76
原创 Linux配置和基本命令
Linux配置和基本命令## 标题一、Linux系统磁盘介绍和系统设置1、linux最小化安装后出现两个区sda1 启动分区sda2 物理区分为逻辑分区 逻辑卷linux磁盘挂载在文件夹下2、各个目录下文件作用bin 命令boot 启动相关的东西 例如：group grup.conf timeout 启动读秒dev 设备 硬件 cdrom链接etc 配置文件 程序的和系统的配置文件 例如：sysconfig network-scripts ifcfg-eth0 网卡 network 主机
2021-04-18 21:23:03
186
原创 编写一个自动发布jdk的脚本
编写一个自动发布jdk的脚本1、环境准备–4台虚拟机一台用于发布资源web服务器和本地yum源配置三台用于安装zookeeper和hadoop2、配置本地yum源 --个人使用镜像文件 可以百度yum源地址创建挂载目录mkdir /mnt/cdrom将设备/dev/cdrom挂载到/mnt/cdrom挂载点mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom配置开机自动挂载vi /etc/fstab/dev/cdrom /mnt/cdrom iso
2020-09-12 18:39:46
136
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人