- 博客(67)
- 收藏
- 关注
原创 Kubernetes入门 · Centos7安装Minikube
1. 准备一台centos7操作系统1. 新安装的配置IP、关闭防火墙2. # 配置阿里云 docker hub 镜像 export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com curl -sSL https://kuboard.cn/install-script/v1.19.x/install_kubelet.sh | sh -s 1.19.23. 安装minikube curl -Lo minikube https://
2021-04-14 11:07:06
536
原创 zookeeper
Zookeeper概念Zookeeper 是一个分布式协调服务,可用于服务发现,分布式锁,分布式领导选举,配置管理等。Zookeeper 提供了一个类似于 Linux 文件系统的树形结构(可认为是轻量级的内存文件系统,但只适合存少量信息,完全不适合存储大量文件或者大文件),同时提供了对于每个节点的监控与通知机制。Zookeeper角色Zookeeper 集群是一个基于主从复制的高可用集群,每个服务器承担如下三种角色中的一种。Leader一个Zookeeper集群同一时间只会有一个实
2021-03-26 15:18:10
167
原创 Docker安装Centos7,并配置ssh登录
dicker pull centos:7docker run --privileged -itd -p 5001:22 --name k8smaster1 8652b9f0cb4c /usr/sbin/initdocker run --privileged -itd -p 5002:22 --name k8snode1 8652b9f0cb4c /usr/sbin/initdocker run --privileged -itd -p 5003:22 --name k8snode2 865
2021-01-12 11:18:10
465
原创 IDEA 启动Tomcat卡死,Artifact is deployed successfully,但是项目无法访问,Tomcat日志乱码
参照图中选好对应的TomcatDeployment 选择好相应的warServer菜单 URL 和 Deployment菜单中 Application context 路径一致
2020-12-21 15:02:46
3145
原创 SparkSQL读写Hive整合
修改hive-site.xml <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property>
2020-12-17 16:11:50
416
原创 Flume01
Flume架构组成Flume 负载均衡Flume Agent内部原理启动 Flume 监听./bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,consoletelnet localhost 44444
2020-12-16 17:44:15
63
原创 Hive02
外部表创建create external table t_stu (id int, name string,age int, sex string) ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',' location '/stu';关键字:external、location外部表与内部表的区别:内部表 删除表 元数据和数据丢失、外部表 删除表 只删除元数据 数据依然存在Likecreate table t_t2_copy like t_t2.
2020-12-16 17:43:32
71
原创 Hive01
Hive 启动0. cp hive-env.sh.template hive-env.sh1. vim hive-env.sh2. export HADOOP_HOME=/data/module/hadoop-2.7.23. :wq4. vim hive-site.xml5. <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> &l.
2020-12-16 17:42:58
84
原创 Windows7下Hadoop2.7.2环境配置
准备工作hadoop-2.7.2.tar.gz链接:https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg提取码:uo7bhadooponwindows-master.zip链接:https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA提取码:25ko操作解压 hadoop-2.7.2.tar.gz修改配置文件hadoop-env.cmd路径:hadoop-2.7.2\etc\hado
2020-12-16 17:42:08
270
1
原创 解决CentOS6 完整克隆后网卡不能使用的问题
第一步关闭需要克隆的虚拟机选中需要克隆的vm - 右击 - 管理 - 完整克隆第二步开机修改配置文件第三步vim /etc/udev/rules.d/70-persistent-net.rules把 原有的 eth0 删除把 eth1修改成eth0复制ATTR{address}属性的内容第四步vim /etc/sysconfig/network-scripts/ifcfg-eth0复制ATTR{address}属性的内容 替换 HWADDR
2020-12-16 17:41:28
215
原创 HDFS优缺点
优点高容错性数据自动保存多个副本。它通过增加副本的形式,提高容错性。某一个副本丢失以后,它可以自动恢复。适合处理大数据数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;文件规模:能够处理百万规模以上的文件数量,数量相当之大。可构建在廉价机器上,通过多副本机制,提高可靠性。缺点不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。无法高效的对大量小文件进行存储。存储大量小文件的话,它会占用NameNode大量的内存来存储文件目录和块信息。这样是不
2020-12-16 17:40:52
287
原创 hadoop学习03
hadoop学习笔记 - HDFS - 完全分布式模式Hadoop完全分布式模式结构hadoop01hadoop02hadoop03HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager准备工作:3台服务器Jdk环境SSH配置Hadoop安装配置hadoop01的core.
2020-12-16 17:40:01
65
原创 hadoop学习02
hadoop学习笔记 - HDFS - 伪分布式模式准备工作伪分布式 当然就一台机器哈,后面继续学习,多台机器虚拟机提前配置好JDK 1.8.x (jdk配置就不多说了)不会的给个传送门:https://www.jianshu.com/p/8cbea338b4ef下载hadoop包,传送门:https://archive.apache.org/dist/hadoop/common/这里使用的是:hadoop-hadoop-2.10.0.tar.gz为案例 版本选在根据自己的需求来。.
2020-12-16 17:39:09
94
原创 hadoop学习01
Hadoop的优势(4高)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。高效性:在MapReduce的思想下,Hadoop的并行工作的,比加快任务处理速度。高容错性:能够自动将失败的任务重新分配。Hadoop组成HDFS架构概述NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所
2020-12-16 17:38:40
136
1
原创 SparkSQL扩展读写
Reader @Test def reader(): Unit ={ val spark = SparkSession.builder() .appName("reader_test") .master("local[*]") .getOrCreate() val reader: DataFrameReader = spark.read reader .format("csv") .option("hea
2020-12-16 14:57:15
166
原创 spring源码解读-1
Spring 的整体架构源码环境搭建工具 使用的是 IDEA这里分支 选择是 5.0.xspring-framework Git地址1 . git clone 后,修改 build.gradlerepositories { gradlePluginPortal() maven { url "https://maven.aliyun.com/repository/spring-plugin" } maven{ url "https://maven.aliyun.com/nex
2020-12-14 20:55:41
61
原创 Spark Dataset & DataFrame
DatasetDataset是什么1 . Dataset是结构化数据2 . Dataset能够使用类似SQL这样声明式结构化查询语句的形式来查询3 . Dataset是一个强类型,并且类型安全的数据容器,并且提供了结构化查询API和类似RDD一样的命令式APIDataFrameDataFrame是什么1 . DataFrame类似一张关系型数据库2 . 在DataFrame上操作,非常类似SQL语句3 . DataFrame中有行和列,以及ScheamDataFrame如何创建
2020-12-12 17:42:38
142
原创 Spark原理-物理执行图
物理图的意义谁来计算RDD呢TaskTask如何设计1 . 第一个想法,每个RDD 的每个分区都对应一个Task2 . 第二个想法,用一个Task计算所有RDD 中对应的分区3 . 这两个想法都有问题,分阶段,采用数据流动的模型来进行设计阶段怎么划分阶段 + Task 就是执行RDD 的执行者总结数据是如何流动的数据计算发生在需要数据的地方,FinalRDD第一个获取数据的 RDD 是 firstRDD小案例val firstRdd = sc.parall
2020-12-10 09:43:30
214
原创 Dockerfile
什么是DockerfileDockerfile是由一系列命令和参数构成的脚本,这些命令应用于基础镜像并最终创建一个新的镜像。1、对于开发人员:可以为开发团队提供一个完全一致的开发环境;2、对于测试人员:可以直接拿开发时所构建的镜像或者通过Dockerfile文件构建一个新的镜像开始工作了;3、对于运维人员:在部署时,可以实现应用的无缝移植。常用命令命令作用FROM image_name:tag定义了使用哪个基础镜像启动构建流程MAINTAINER user_name
2020-12-07 10:20:12
70
原创 Docker私有仓库
私有仓库搭建与配置(1)拉取私有仓库镜像(此步省略)docker pull registry(2)启动私有仓库容器docker run -di --name=registry -p 5000:5000 registry(3)打开浏览器 输入地址http://192.168.184.141:5000/v2/_catalog看到{"repositories":[]} 表示私有仓库搭建成功并且内容为空(4)修改daemon.jsonvi /etc/docker/daemon.json添加以下
2020-12-07 10:20:02
98
原创 持续集成与容器管理 - DockerMaven插件
介绍个Docker 可视化图形工具Portainer官方站点:https://www.portainer.io/官方安装说明:https://www.portainer.io/installation/用浏览器访问:http://localhost:9000.docker pull portainer/portainerdocker run -d -p 9000:9000 --restart=always -v /var/run/docker.sock:/var/run/docker.sock.
2020-12-07 10:19:53
139
原创 迁移与备份
容器保存为镜像我们可以通过以下命令将容器保存为镜像docker commit mynginx mynginx_i镜像备份我们可以通过以下命令将镜像保存为tar 文件docker save -o mynginx.tar mynginx_i镜像恢复与迁移首先我们先删除掉mynginx_img镜像 然后执行此命令进行恢复docker load -i mynginx.tar-i 输入的文件执行后再次查看镜像,可以看到镜像已经恢复...
2020-12-07 10:19:40
102
原创 应用部署
MySQL部署(1)拉取mysql镜像docker pull centos/mysql-57-centos7(2)创建容器docker run -di --name=tensquare_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射,格式为 宿主机映射端口:容器运行端口-e 代表添加环境变量 MYSQL_ROOT_PASSWORD 是root用户的登陆密码(3)远程登录mysql连接宿主机的IP ,
2020-12-07 10:19:32
335
转载 常用命令
镜像相关命令查看镜像docker imagesREPOSITORY:镜像名称TAG:镜像标签IMAGE ID:镜像IDCREATED:镜像的创建日期(不是获取该镜像的日期)SIZE:镜像大小这些镜像都是存储在Docker宿主机的/var/lib/docker目录下搜索镜像如果你需要从网络中查找需要的镜像,可以通过以下命令搜索docker search 镜像名称NAME:仓库名称DESCRIPTION:镜像描述STARS:用户评价,反应一个镜像的受欢迎程度OFFICIAL:是
2020-12-07 10:19:22
70
原创 Docker安装与启动
安装DockerDocker官方建议在Ubuntu中安装,因为Docker是基于Ubuntu发布的,而且一般Docker出现的问题Ubuntu是最先更新或者打补丁的。在很多版本的CentOS中是不支持更新最新的一些补丁包的。(1)yum 包更新到最新sudo yum update(2)安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的sudo yum install -y yum-utils device-mapp
2020-12-07 10:19:13
89
原创 Docker简介
Docker的思想来自于集装箱,集装箱解决了什么问题?在一艘大船上,可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了,集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的,那我就可以用一艘大船把他们都运走。docker就是类似的理念。现在都流行云计算了,云计算就好比大货轮。docker就是集装箱。
2020-12-07 10:18:58
80
原创 RDD-缓存
/** * 统计访问次数最多的ip * None 0.244744 s * cache 0.126583 s * persist 0.132369 s * * cache 底层 调用的 是 persist * persist 默认的 缓存级别是 StorageLevel.MEMORY_ONLY */ @Test def prepare(): Unit = { val resouce: RDD[String] = sc.te..
2020-12-05 08:53:22
114
原创 Spark-算子-Active
reduce /** * 算出总价 * 注意点: * 1. 函数中的curr参数,并不是value,而是一整条数据 * 2. reduce 整体上的结果,只有一个 */ @Test def reduce(): Unit = { val tuple: (String, Double) = sc.parallelize(Seq(("手机", 10.0), ("手机", 15.0), ("电脑", 20.0))) .reduce((curr, agg.
2020-12-01 08:44:55
180
原创 Spark-算子-transerformation
Map[一对一] @Test def mapTest: Unit ={ val array: Array[Int] = sc.parallelize(Seq(1, 2, 3)).map(item => item + 1).collect() array.foreach(e => println(e)) }flatMap[一对多] @Test def flatMapTest: Unit = { val array: Array[String] = s
2020-11-26 10:03:13
93
原创 RDD是什么
###基本操作wordcount.txt文件hadoop lizeminlizemin hadooplzm hadoopbin/spark-shell 操作命令val rdd1 = sc.textFile("file:///export/data/wordcount.txt")val rdd2 = rdd1.flatMap(item=> item.split(" "))val rdd3 = rdd2.map(item => (item,1))val rdd4 =
2020-11-26 10:02:13
338
原创 spark集群
准备工作https://archive.apache.org/dist/spark/jdk-8u251-linux-x64.tar.gz (自行下载)服务器三台192.168.41.12192.168.41.13192.168.41.14配置服务器之间的 hostname,ssh 免密登录hostname 在 /etc/hostname 文件中,使用vim /etc/hostname即可服务器别名配置在 /etc/hosts文件中,使用vim /etc/hosts即可现在检查
2020-11-26 10:01:42
118
原创 zk集群配置
准备工作3台虚拟机zk包 自己官网下载 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz解压下载的zk包tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/module/-C 是指定解压目录 - 根据个人目录可随意更改修改配置文件进入 zookeeper-3.4.14/conf 目录cp zoo_sample.cfg zoo
2020-11-26 10:00:57
337
原创 kafka
###1. 先到官网下载kafka链接地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.1/kafka_2.13-2.4.1.tgz###2. tar命令解压包[root@localhost kafka_2.13-2.4.1]# ll总用量 56drwxr-xr-x. 3 root root 4096 3月 3 08:35 bin #执行脚本drwxr-xr-x. 2 root root 4096 4月
2020-11-25 09:21:48
274
原创 zk单机启动
1. 这里用的是最新版本的zookeeper3.6.0 -> http://zookeeper.apache.org/releases.html#download1. 首先解压tar -zxf apache-zookeeper-3.6.0-bin.tar.gz2. 修改conf目录cp zoo_sample.cfg zoo.cfgvim zoo.cfg # The number of milliseconds of each tick# 每个刻度的毫秒数tickTime=2000
2020-11-25 09:21:11
407
原创 OpenResty + Lua + Rdies 实现动态封禁 IP
一、准备工作下载openresty -> http://openresty.org/cn/download.html下载redis(这里测试-用单机redis)->http://www.redis.cn/download.html二、下载openresty1. 下载wget https://openresty.org/download/openresty-1.15.8.2.tar.gz2. 解压tar -zxf openresty-1.15.8.2.tar.gz三、安装
2020-11-25 09:20:41
367
空空如也
WEB端播放RTSP
2023-01-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人