- 博客(80)
- 收藏
- 关注
RSS订阅原创 安装vmware_esxi 超详细
ESXI原生架构模式的虚拟化技术，是不需要宿主操作系统的，它自己本身就是操作系统。因此，装ESXI的时候就等同于装操作系统，直接拿iso映像(光盘)装ESXI就可以了。版本的变化 5.x-->6.x-->7.x镜像下载链接：https://pan.baidu.com/s/1OQg5a2zqFkZjTaMWIkmtaA提取码：vmis。
2023-11-29 17:27:19
2586
原创 Linux使用iptables设置黑白名单
Linux使用iptables设置黑白名单使用ipset工具1，下面我先说下iptables的基本配置规则，然后再说ipset以下使用C7 x86_64为实验环境CentOS7默认的防火墙不是iptables,而是firewalle.如果你没有安装iptables的话，你可以使用以下命令进行安装systemctl stop firewalldsystemctl disable firewalldsystemctl mask firewalld上面的意思是先屏蔽掉原有的firewall防火墙，下面我们就开
2020-12-22 11:22:40
514
原创 Sprark性能优化-高级篇
Spark性能优化指南——高级篇调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观
2020-07-14 16:48:46
493
原创 Hive SQL编译过程
Hive SQL的编译过程Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化Hi
2020-07-14 16:42:44
399
原创 spark性能优化-基础篇
Spark性能优化指南——基础篇在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果
2020-07-14 16:34:09
184
原创 Centos 7.2 failed to load SELinux policy freezing--解决服务器无法开机
调整SELINUX=permissive；造成一个很严重的问题就是服务器无法开机。主要是修改错误，不应该修改SELINUXTYPE=disabled 而应该修改 SELINUX当时由于心急所以修改错了。造成不必要的麻烦。错误如图所示https://img-my.csdn.net/uploads/201709/03/1504438099_6968.png解决办法：1.重启...
2019-12-16 17:18:34
301
原创 Docker图形化管理工具之Portainer
What is Portainer? Portainer是一款轻量级的图形化管理工具，通过它我们可以轻松管理不同的docker环境。Portainer部署和使用都非常的简单，它由一个可以运行在任何docker引擎上的容器组成。Portainer提供管理docker的containers、images、volumes、networks等等。它兼容独立的d...
2019-12-16 10:07:52
696
原创 linux系统中的mysql主从配置
##linux系统mysql主从配置mysql主从配置的流程大体如图：1）master会将变动记录到二进制日志里面；2）master有一个I/O线程将二进制日志发送到slave;slave有一个I/O线程把master发送的二进制写入到relay日志里面；4）slave有一个SQL线程，按照relay日志处理slave的数据；二、操作步骤按照原理，我们开启mysql主从复制，我们...
2019-12-12 15:42:48
128
原创 部署prometheus
部署prometheus下载https://prometheus.io/download/解压安装tar -zxvf prometheus-2.12.0.linux-amd64.tar.gz启动由于此服务器上部署gitlab，gitlab中内置了prometheus，占用了9090端口，所以要指定prometheus启动的端口./prometheus --config.fil...
2019-12-12 15:40:14
199
原创 mysql离线部署
mysql离线部署准备安装包https://dev.mysql.com/downloads/mysql/mysql-community-client-5.7.27-1.el7.x86_64.rpmmysql-community-common-5.7.27-1.el7.x86_64.rpmmysql-community-devel-5.7.27-1.el7.x86_64.rpmmysql...
2019-12-12 15:39:29
280
原创 k8s部署版本
相关环境版本k8s-server v1.13k8s-node v1.13fannel v0.10.0网络管理组件flanneldocker版本。你18.09.x服务器地址172.29.122.34 cmcc1234172.29.122.35 cmcc1234172.29.122.36 cmcc1234角色划分k8s-master1 172.29.122.34 k...
2019-12-12 15:38:43
776
原创 jenkins部署
Jenkins部署部署服务器172.29.122.34版本Jenkins-2.200安装jenkinsrpm -i xxx.rpm修改jenkins启动默认端口vim /etc/sysconfig/jenkinsJENKINS_PORT="24002"启动jenkinssystemctl start jenkins使用web页面配置Jenkins在浏览器访问h...
2019-12-12 15:38:10
135
原创 gitlab部署
Gitlab部署部署服务器172.29.122.35版本12.4.0安装gitlab[root@cn2031 Downloads]# rpm -i gitlab-ce-12.4.0-ce.0.el7.x86_64.rpm warning: gitlab-ce-12.4.0-ce.0.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key...
2019-12-12 15:37:32
121
原创 eureka集群部署详情
eureka集群部署情况hosts中的IP映射：127.0.0.1 eureka01127.0.0.1 eureka02127.0.0.1 eureka03版本JDK版本1.8.0_161springboot版本2.0.1.RELEASEeureka-server版本2.0.1.RELEASE服务器192.168.20.23192.168.20.25192.168.2...
2019-12-12 15:36:59
230
原创 docker+docker-compose+harbor安装
docker+docker-compose+harbor安装安装步骤docker-compose安装[root@cn2028 ~]# curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/dock...
2019-12-12 15:36:24
539
原创 apollo部署文档
Apollo部署版本JDK 1.8.0_161mysql 5.7apollo 1.4.0服务器192.168.20.23 apollo-configservice apollo-configservice mysql192.168.20.25 apollo-portal安装目录/usr/local/apollo/应用对应端口apollo-configservice 24...
2019-12-12 15:35:58
571
原创 redis3.2.8 sentinel模式一主两从高可用环境搭建测试
由于项目需要，研究了一下redis的集群方式，记录如下：环境：centos7，由于是测试，我就把三个redis放在一台机子上了。反正redis是单线程的，倒也无所谓。redis集群的方式有好几种，分类下来其实大概是四种：1.redis本身的集群。redis3.x开始引入了redis-cluster，是redis官方推出的集群方式，官方文档中也全面地说明了设计成当前这个鸟样的原因，这个无可非...
2019-12-12 15:33:10
244
原创 如何删除Eureka服务中心已经注册的服务
我们经常会遇到ip地址等改变后，在Eureka服务中心重复注册服务；或者之前已经死掉的服务还存在于Eureka服务中心，这时我们需要将该服务从Eureka服务中心删除，最近因为搬到新的工位ip发生了改变，导致在Eureka服务中心重复注册了同名的服务，具体如下： 如何删除？需要借助postman发送delete请求，具体如下：需要注意...
2019-11-26 08:28:42
4243
4
原创 git push代码记录密码，不用每次打密码
方案一:在你的用户根目录下新建一个文本文件, 名曰.git-credentials在终端输入$touch .git-credentials然后编辑刚刚创建的文件在终端输入$vim .git-credentials然后输入https:{username}:{password}@xxxxxx.com@后面是输入你的git做操作需要密码的地址当然上述{username}和{pass...
2019-11-07 15:11:46
190
原创 SpringBoot集成MyBatis配置debug时log打印到控制台
方案一在application.yml中增加配置，在控制台打印sql：mybatis configuration: log-impl: org.apache.ibatis.logging.stdout.StdOutImpl 参考类：org.apache.ibatis.session.Configurationlog-impl指定的值为org.apache.ibatis.log...
2019-11-04 21:40:32
1060
原创 git安装与使用
1.下载Git软件：https://git-scm.com/downloads，据说ios自带的有git软件，这个我就不太清楚了。2.下载之后安装就很简单了，一路下一步就可以了。安装完成后鼠标右击和者开始->程序会出现，打开Git Bash，进入bash界面。接下来是重点，若这一步没有通过的话；秘钥没有认证完成，就不能上传文件，这个已经踩坑了，一直英语提示tell who are y...
2019-11-02 14:51:33
237
原创 IDEA完美解决 Could not autowire. No beans of 'xxx' type found.报错
对于IDEA这个提示功能，大多数的说法都是要求我们把这个提示功能关闭，看到这种不能忍受，解决方案如下：解决方法方法1：在mapper文件上加@Repository注解，这是从spring2.0新增的一个注解，用于简化 Spring 的开发，实现数据访问方法2：在mapper文件上加@Component注解，把普通pojo实例化到spring容器中，相当于配置文件中的...
2019-09-26 10:35:50
728
转载 spring boot项目启动报DataSource错误
初建一个简单的spring boot 项目，启动后会报错。 Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.Be...
2019-09-26 10:27:00
979
1
原创 Intellij IDEA使用git提交代码时去掉Code analysis代码分析的提示
默认情况下的git提交会出现执行代码分析的提示框实际上提交的前一步有选项可以去掉这个提示把"Perform code analysis" 和 "Check TODO" 复选框前面的勾去掉就好了. ...
2019-07-29 17:39:42
2762
1
转载 怎么用idea创建项目并上传到码云（码云上没有这个项目）转载
1.第一步：idea下载码云插件gitee第二步：本地创建一个新项目第三步：创建本地仓库提示：第四步：创建码云仓库点击OK，就会在码云上面创建一个公有的项目了。到此就已经成功创建了码云项目和本地项目了。 关于代码提交 第一步：随意修改一下代码。第二步：项目加入缓存（这里可以不用加，但为了保险，再操作一下）第三步：选中文件后，选commi...
2019-07-24 10:17:05
227
原创 如何安装vue-devtool调试工具
1.从git上下载工具压缩包，github下载地址：https://github.com/vuejs/vue-devtools；2.打开cmd，切换到下载的文件目录下：npm install---->npm run build;3.打开shells>chrome>manifest.json并把json文件里的"persistent":false改成true；4.在谷歌浏览器...
2019-07-19 09:14:38
495
转载 Vue环境搭建（Windows下搭建Vue.js）
一·、Node.js(Windows下安装) 1】:下载地址：https://nodejs.org/en/ 2】: 当然是下载最新...
2019-07-18 21:38:02
140
原创 Intellij IDEA运行出现1099 is already in use解决办法
在使用Intellij IDEA运行web项目时，出现 ：Error running Tomcat8: Address localhost:1099 is already in use，使其web项目无法运行。这说明1099端口被占用。一般为jave.exe占用。解决办法如下：第一种方法：通过任务管理器，终止进程java.exe。第二种方法：找到tomcat安装目录bin文件夹下shutdow...
2019-07-13 22:16:44
9131
3
原创 mysql创建连接名、数据库、表
1.点击连接，创建连接名，设置密码，点击Ok。双击连接名打开，新建数据库，填写数据库名，字符集，排序规则再点表创建一个新表，点击查询，新建查询输出sql语句，然后运行，查询时间从0.000s发生改变。运行ok....
2019-07-11 00:12:31
17724
原创 Python 网络爬虫入门详解
什么是网络爬虫 网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。优先申明：我们使用的python编译环境为PyCharm 一、首先一个网络爬虫的组成结构：爬虫调度程序（程序...
2019-05-20 17:57:15
270
转载 北大、清华、浙大、上海计算机课程资源（转载）
“北大图书馆”Github传送门：https://github.com/lib-pku/libpku浙大项目传送门：https://github.com/Q...
2019-05-20 17:27:53
271
原创 在Linux下修改和重置root密码的方法(超简单)
对于linux新手来说，很容易把root的密码忘记，怎么在Linux下修改和重置root密码的方法，如下操作：1.开机之后在内核上敲击e，然后编辑选项2.在linux16这一行，将红框内的内容改成rw rd.break根据提示，使用组合键CTRL+X进入密码修改3.进入到系统的紧急求援模式4.依次输入以下的命令5.重启有点慢，需要耐心等一会儿，重启之后就可以使用刚才重置的密...
2019-05-09 13:12:32
6762
原创 linux下备份目录文件及目录
一、关于Linux备份文件和应用的几个命令：tar和cp在工作中，经常来备份文件和系统应用，常用到的主要是tar和cp命令，分别介绍如下： 一、tar命令，这个现在经常使用用来打包： tar包指的是档案文件：tar -cvf filename_20140805.tarfilename...
2019-05-09 11:26:37
54246
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人