大数据
十下
这个作者很懒,什么都没留下…
展开
-
Docker 入门级-架构介绍与实战
Docker 入门级-架构介绍与实战解决如下问题:docker的架构介绍和基本使用如何制作镜像?如何分享镜像?如何持久化容器的数据?如何编排一个多容器的应用?Mac下docker的安装从www.docker.com下载适合系统的dmg文件拖拽安装即可。docker架构介绍守护进程负责来与镜像,仓库和容器进行交流:docker的一些常用方法:1. 运行daocloud.io/nginx,由80端口映射在本地8080端口上:docker run -p 8080:80 -d d原创 2021-03-15 15:45:51 · 101 阅读 · 0 评论 -
集群查看所有进程/命令同步脚本
集群查看所有进程/命令同步脚本在/home/shixia/bin目录下创建脚本xcall vim xcall在脚本中编写如下内容 #! /bin/bash for i in hadoop102 hadoop103 hadoop104 do echo --------- $i ---------- ssh $i "$*" done修改脚本执行权限chmod 777 xcall4)启动脚本xcall jps版权声明:作者:十下链接:http://blog原创 2021-02-22 13:17:14 · 233 阅读 · 0 评论 -
Zookeeper集群启动停止脚本
Zookeeper集群启动停止脚本在hadoop102的/usr/bin目录下创建脚本vim zk.sh在脚本中编写如下内容: #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo "------------- $i -------------" ssh $i "/opt/module/zookeeper/bin/zkServe原创 2021-02-22 13:10:18 · 142 阅读 · 0 评论 -
Zookeeper分布式安装部署以及启动
Zookeeper分布式安装部署以及启动zookeeper-3.5.7(安装包自行下载)我的搭建仅供我自己本地测试(仅供参考)此次集群没有配置环境变量(会写启动群起脚本)一、集群规划在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。二、安装解压Zookeeper安装包到/opt/module/目录下tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/修改/opt/module/apache-zo原创 2021-02-22 13:02:02 · 188 阅读 · 0 评论 -
LZO创建索引
LZO创建索引创建LZO文件的索引,LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为LZO压缩文件创建索引。若无索引,则LZO文件的切片只有一个。hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo(hadoop jar hadoop-lzo-0.4.20.jar文件目录 com.hadoop.compression.lzo.Distribute原创 2021-02-22 12:59:25 · 370 阅读 · 0 评论 -
Hadoop支持LZO压缩配置
支持LZO压缩配置hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。hadoop-lzo编译(点我打开)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104xsync hadoop-lzo-0.4.20.jar原创 2021-02-22 12:57:21 · 137 阅读 · 0 评论 -
HDFS存储多目录配置
HDFS存储多目录若HDFS存储空间紧张,需要对DataNode进行磁盘扩展。在DataNode节点增加磁盘并进行挂载。在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。<property> <name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///h原创 2021-02-21 12:07:17 · 738 阅读 · 0 评论 -
Linux 配置免密登录,以及什么是免密登录?免密登录就不需要密码吗?
Linux 配置免密登录一 为什么可以免密登录?首先来说公钥和私钥(有好多东西是国外翻译过来比较拗口,不利于学习,我喜欢先例后概念,或者直接上例子)比如:有两个用户A和B,A想把一段明文通过双钥加密的技术发送给B(A目前除了明文,还没有公钥,也不会有私钥),B有一对公钥和私钥那么加密解密的过程如下:B将他的公开密钥传送给AA用B的公开密钥加密他的消息,然后传送给BB用他的私人密钥解密A的消息首先来说RSA算法RSA公钥加密算法是1977年由Ron Rivest、Adi Shami原创 2021-02-21 12:05:08 · 1178 阅读 · 0 评论 -
Hbase安装
Hbase安装一、 Hbase安装启动Zookeeper首先保证Zookeeper集群的正常部署,并启动之:zkServer.sh start(启动所有节点的zookeeper)启动HadoopHadoop集群的正常部署并启动:start-dfs.shstart-yarn.shHBase的解压和修改目录名[root@hadoop102 software]# tar -zxvf hbase-2.0.5-bin.tar.gz -C ../module/[root@hadoo原创 2021-02-21 11:31:36 · 101 阅读 · 0 评论 -
kafka could not be established. Broker may not be available kafka启动报错
kafka could not be established. Broker may not be available kafka启动报错我查到的解决方法:修改server.properties配置文件listeners=PLAINTEXT://ip地址:9092advertised.listeners=PLAINTEXT://ip地址:9092其实这不用配,也默认localhost:9092的我也试了这个方法,无效解决不了问题啊,最后我试了各种方法,甚至导致我的kafka启动不了了,最后原创 2021-02-21 11:30:40 · 572 阅读 · 0 评论 -
Kafka群起脚本
Kafka群起脚本添加群启脚本配置文件vim /usr/bin/start-kafka.sh配置内容如下: #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo $"INFO:=========== $i kafka 正在启动 ============" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -dae原创 2021-02-21 11:29:40 · 187 阅读 · 0 评论 -
Centos7.x安装netcat以及netcat连接被拒绝(Ncat: Connection refused.)解决方法
Centos7.x安装netcat以及netcat连接被拒绝(Ncat: Connection refused.)解决方法【!!!!所有人直接看文章最后面,一秒钟解决问题】一、情况❗️报如下错误:二、原因在CentOS6.4中使用yum install -y nc安装的是nc命令(netcat)在CentOS7.X中使用yum install -y nc安装的并不是netcat而是nmap-ncat,并且通过软链接的方式链接为nc命令,但实际是ncat命令三、解决方法(正式安装从下面第1步开始原创 2021-02-17 16:57:52 · 3058 阅读 · 0 评论 -
Flume安装部署和使用
Flume安装部署一、相关地址(1) Flume官网地址:http://flume.apache.org/(2)文档查看地址:http://flume.apache.org/FlumeUserGuide.html(3)下载地址:http://archive.apache.org/dist/flume/二、安装部署(1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下(2)解压apache-flume-1.9.0-bin.tar.gz原创 2021-02-17 16:56:19 · 171 阅读 · 0 评论 -
正则表达式
正则表达式一、我用到的正则表达式表达式含义举例\转译^一行的开头^R ------表示以R开头的行&匹配一行的结束R$ ------表示以R结尾的行*表示上一个子式匹配0次或多次,贪心匹配Zo* ------表示Z后面匹配到最多个o(最少为0个).匹配一个任意字符.* ------匹配任意字符串[]表示匹配某个范围内的一个字符[6,8] ------匹配6或者8[a-z] ------匹配一个原创 2021-02-17 16:54:56 · 67 阅读 · 0 评论 -
Hive 条件查询SQL操作大全
三 Hive 查询SQL大全本文用到的数据包,在文章末尾一、基本查询1. 创建表创建部门表create table if not exists dept(deptno int,dname string,loc int)row format delimited fields terminated by '\t';创建员工表create table if not exists emp(empno int,ename string,job string,mgr int,hire原创 2021-02-16 15:01:29 · 2826 阅读 · 0 评论 -
HDFS-HA集群配置
HDFS-HA集群配置一、集群分配集群主机分配如下:hadoop102hadoop103hadoop104NameNodeNameNodeNameNodeZKFCZKFCZKFCJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZK我的三台主机分别是Hadoop102、Hadoop103、Hadoop104我配置的HA仅供学习,不用于接下来的使用,所以我们不原创 2021-02-16 14:53:06 · 196 阅读 · 0 评论 -
zookeeper命令行操作
#显示所有操作命令help#查看当前znode的子节点 [-w]监听子节点变化 [-s]附加次级信息ls [-w] [-s] path#普通创建 [-s]含有序列(全局递增) [-e]临时创建(客户端关闭自动删除)[-s] [-e] create #获得节点的值 [-w]监听节点内容变化 [-s]附加次级信息get [-w] [-s] path#设置及诶单的具体值set#查看节点状态stat#删除节点delete#递归删除节点deleteall版权声明:作原创 2021-02-16 14:45:11 · 68 阅读 · 0 评论 -
Linux安装hadoop-配置Hadoop环境变量
Linux安装hadoop-配置Hadoop环境变量一、安装Hadoop进入到Hadoop安装包路径下cd /opt/software/解压安装文件到/opt/module下面tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/二、配置环境变量修改配置文件 sudo vim /etc/profile.d/my_env.sh在文件末尾添加以下内容:#HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop原创 2021-02-09 03:08:44 · 5592 阅读 · 3 评论 -
kafka could not be established. Broker may not be available kafka启动报错
kafka could not be established. Broker may not be available kafka启动报错我查到的解决方法:修改server.properties配置文件listeners=PLAINTEXT://ip地址:9092advertised.listeners=PLAINTEXT://ip地址:9092其实这不用配,也默认localhost:9092的我也试了这个方法,无效解决不了问题啊,最后我试了各种方法,甚至导致我的kafka启动不了了,最后原创 2021-02-05 03:38:18 · 1924 阅读 · 1 评论 -
Ganglia的安装与部署
Ganglia的安装与部署一、安装依赖和环境安装httpd服务与phpsudo yum -y install httpd php安装其他依赖sudo yum -y install rrdtool perl-rrdtool rrdtool-develsudo yum -y install apr-devel安装gangliayum -y install epel-releasesudo yum -y install ganglia-gmetad sudo yum -y in原创 2021-02-04 02:26:57 · 240 阅读 · 0 评论 -
Hive-SQL -DDL操作
Hive-SQL -DDL操作用到的数据我会打包上传,放到本文末尾一、创建数据库1. 创建数据库语句CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];2.数据库创建举例2.1 创建一个数据库,数据库在HDFS上的存储路径是/test.db。cr.原创 2021-01-31 16:26:08 · 153 阅读 · 0 评论 -
HiveJDBC访问
HiveJDBC访问启动beeline客户端beeline -u jdbc:hive2://hadoop102:10000 -n root看到如下界面Connecting to jdbc:hive2://hadoop102:10000Connected to: Apache Hive (version 3.1.2)Driver: Hive JDBC (version 3.1.2)Transaction isolation: TRANSACTION_REPEATABLE_READBeeli.原创 2021-01-30 17:45:08 · 76 阅读 · 0 评论 -
Hive安装部署及启动
Hive安装部署及启动附件包在本文末尾一、Hive安装及配置把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/修改apache-hive-3.1.2-bin.tar.gz的名称为hivemv /opt/module/a.原创 2021-01-30 03:27:39 · 324 阅读 · 0 评论 -
安装Tez引擎
Hive安装部署一、Hive安装及配置❗️由于我打不出$符号在线面,统一用「」代替❗️附件包在本文最下方把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/修改apache-hive-3.1.2-bin.tar.gz的名称.原创 2021-01-30 02:20:24 · 429 阅读 · 0 评论