- 博客(47)
- 收藏
- 关注
原创 K8s部署高可用Jenkins
K8s1.28.2集群一台可以连接外网的云主机:用于下载一些Docker镜像Jenkins-Slave部署完成后,发现Pod中默认启动的容器jnlp,只能满足我们拉取代码的任务,我们要通过Maven构建项目,并且我们项目是JDK8的,需要一个JDK8的环境,因此,我们可以构建一个自己的用于代码打包的镜像,然后添加到Jenkins-Slave的Pod中sleep 1;done"]解释下Dockerfilemaven的tar包中,我已经将settings.xml的中央仓库镜像换成了阿里云。
2024-06-23 22:51:04
1116
2
原创 Bean的生命周期
兄弟们,今天我们来看一下Spring面试题中的一个经典考点:Spring中Bean的生命周期。本文会先介绍Bean生命周期的各个阶段,并点出各个阶段重点做了哪些事情。随后会找到各个生命周期对应的源码位置。
2024-03-19 11:23:40
374
1
原创 整合美团Leaf分布式id工具包
1.如果使用雪花模式,别忘了引入zk的连接用的jar包,官方真的坑,也不提醒一下。2.启动leaf-server,去master上启动,数据库自己配置好,然后leaf-server的配置文件也配置好。3.唉…
2021-03-21 17:43:49
381
原创 Map在JDK8中新增的方法
https://www.yuque.com/docs/share/ae9ee0e8-ebb8-44bb-bf1f-f83e7400ba38?# 《Map在JDK8中新增方法使用》
2021-01-12 21:23:37
300
原创 Docker设置阿里镜像加速器仍然下载很慢
Docker设置阿里镜像加速器仍然下载很慢。1.问题起源我自己装的虚拟机,安装docker并且配置阿里的加速器,但是依旧很慢。。2.解决方式请检查你的网络配置中的 DNS配置,我配置的是114.114.114.114很慢,但是配置8.8.8.8后异常的快。...
2020-12-26 20:28:29
1610
原创 关于可重复读的Mysql实现
1.可重复读,在数据库书上的实现是在事务读时加上 共享锁,这样 如果一个事务先读,别的事务就别想改了,于是在可重复读的事务隔离级别,我无论如何读,值都是一样的,对吗??2.Mysql实验可重复读①我在一个连接窗口A select 一把②在另一个窗口B update并提交一把,竟然可以update并提交③再在窗口A,select一把,是数据是和第一次select 一致,但是这就有问题了原始...
2020-04-11 17:02:37
349
原创 异步和阻塞的区别
异步和阻塞在我们的学习java的JUC时会听到,那么他两的区别是啥了。这里我给出现阶段我自己的理解。事:删除学生信息、查看学生列表人:线程异步、同步:一件事、多个人,如何工作阻塞、非阻塞:多件事、一个人,如何工作文章核心1.异步同步:对于一件事、多个人协作时,是否可以共同进行,可以共同进行就是异步,不可以共同进行就是按序进行就是同步2.阻塞和非阻塞:对于多件事、一个人,一个人在做A事...
2020-03-22 10:13:01
1034
原创 NIO中Selector中select()的不成熟的理解
1.描述:观看尚硅谷NIO课程后的一段NIO的选择器代码代码如下://客户端 @Test public void client() throws IOException{ //1. 获取通道 SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 9898)); //2....
2020-03-14 11:47:32
572
1
原创 阿里云主机搭建Hadoop伪分布,支持windows上上传文件
问题产生1.我是使用阿里云的公网ip搭建,NameNode搭建不起来2.查看logs中的namenode日志,日志上让我去confluence中查看3.个人感觉是下图红色标注的问题4.总结就是说,云服务器Hadoop伪分布式就别用公网ip了。使用内网ip搭建Hadoop伪分布我省略ssh,hadoop包的下载解压。1.修改hosts 文件将主机名映射到 内网ip2.修改Had...
2020-01-13 22:04:55
258
原创 SpringBoot实现微博登录--获取用户头像、微博用户名等信息(本地测试)
写在最前面微博登录的流程:①开发者如何让用户选择微博登录后跳转到微博登录页??https://api.weibo.com/oauth2/authorize?client_id=你的应用的APPKey&response_type=code&redirect_uri=你的授权回调地址②用户登录了,我如何知道用户登录了???微博需要你告诉微博,用户登录后,如何把用登录的信息告诉...
2019-12-30 15:21:37
2284
原创 Win10更新VmWare不能使用
解决方式下载Vmware15.5.0(注意一定是15.5,15.0都不行)点击其.exe文件进行安装安装路径指定和现有的Vmware安装路径相同即可Vm15.5安装会自动更新原有VM原来创建的虚拟机都还是可以用的,会保留的...
2019-11-07 10:12:03
575
原创 ZooKeeper的选举机制
1.选举时用到的一些变量myId:在配置ZK集群时每个主机上都会在myId文件中指定自己的myIdepochId:在这个集群中每当进行1次选举时,epochId就会+1,正如中文翻译一样,时代,指的就是,当前leader是第几代主节点逻辑时钟值:具体记录啥我也不知道,应该是时钟信息,主要控制当前参与投票的节点属于同一轮的选举中。举例:如果我们现在进行第3轮选举,我接到第2轮的选举信息,显然...
2019-10-24 20:25:52
217
原创 HashMap和HashTable线程安全性验证
思路:通过多个线程向同一个HashMap或HashTable插入一个key值完全相同的key值,最后在线程都执行完后打印HashMap或HashTable的大小.size1.正确结果应该是:只有 大小输出为 12.HashMap和HashTable 的执行结果①hashTable②HashMap所以说 HashTable 是线程安全HashMap不安全代码package co...
2019-08-30 21:07:00
612
1
原创 QQ第三方本地测试(Java Web)
回调地址如何写(1)伪造一个域名(2)修改hosts文件(C:\Windows\System32\drivers\etc)(3)修改tomcat的监听端口Tomcat\apache-tomcat-7.0.90\conf\server.xml(4)此时你可以启动tomcat,如果出现system端口被占用 ,关闭下图服务(5)在eclipse中创建刚刚输入的回调地址对应的 项目...
2019-05-14 21:51:03
614
原创 QQ第三方登录(JS)
步骤简介1.首先你要在QQ互联上,注册,登录和成为开发者2.创建一个网站应用3.放置一个QQ登录按钮4.复制JS代码和修改JS代码(添加自己的appID 回调地址)演示1.首先你要在QQ互联上,注册,登录和成为开发者略。。。。2.创建一个网站应用3.放置一个QQ登录按钮(1)先来个干净的页面<!DOCTYPE html><html lang="en...
2019-05-14 09:32:05
1906
原创 U盘安装系统之准备
1.下载iso镜像文件(http://www.imsdn.cn)复制后迅雷下载。2.制作U盘启动盘网上U盘启动盘的制作工具很多这里我们使用大白菜吧。。(1)这里根据自己电脑选择版本下载(我这里选择装机版)插入U盘把iso镜像放进U盘中即可...
2019-04-30 20:59:07
189
原创 Hive分区
创建一个完整的表(nba表)https://blog.csdn.net/Gao__xi/article/details/89296411创建分区表(按球队分区)导入数据
2019-04-25 11:07:49
166
原创 Hive的数据库,表的存储位置
Hive数据存储位置可以看到,在default数据库中的表的存储位置 /user/hive/warehouse其他数据库的表会在 /user/hive/warehouse/xxx.db/...
2019-04-25 10:40:48
11206
原创 Zookeeper
是什么??ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。(应用程序协调服务, 重要组件 , 一致性 )为什么要学习Zookeeper?使用Zookeeper可以协调客户端和服务器端,比如客...
2019-04-20 15:29:49
120
原创 Hive操作初步体验
文件内容建表语句数据导入语句查询数据hdfs文件系统中声称结果好像只是将文件从本地复制到了hdfs 下 的 /user/hive/warehouse/nba/ 的路径下
2019-04-14 14:50:24
144
原创 Hive基础(1)
What?hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。可以将sql语句直接转换成MapReduce任务的一个工具Why?其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。...
2019-04-13 14:56:45
117
原创 Pig Latin语言运算符
运算符(使用本地模式)1.LOAD运算符 LOAD ‘路径名’ USING PigStroage(‘分割符’) AS (表结构)注 路径名如果是 本地模式,就是linux路径 若是mapreducer模式则是 hdfs路径 ,分割符默认是 ‘\t’2.DUMP(查看关系中的数据是以元组的形式返回)3.DESCRIBE 关系名小结:以上三个操作,类似于将文件内容导入数据表中 ...
2019-04-13 11:28:19
677
原创 Pig组件学习笔记(1)
What?Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。就是个工具用于用于大数据分析Why?如果没有pig组件,我们会用Java写MapReducer程序,进行大数据分析,可是如果我不会写Java,我怎么进行数据...
2019-04-12 20:30:10
642
原创 大数据基础考前复习(2)
通过Java程序对hdfs文件系统进行操作1.创建文件夹public class MkDir { /** * @param args * @throws Exception * 1.获取文件系统对象 * 1.1 获取配置信息 * 1.2 获取hdfs(文件系统)路径 * 1.3 得到文件系统对象 *2.创建文件夹 *3....
2019-04-03 15:37:58
489
原创 大数据考前基础复习(1)
Hadoop文件系统的一些文件命令1.创建文件夹(hdfs dfs -mkdir /文件夹名称)2.上传文件(hdfs dfs -put 本地文件路径 hdfs路径)3.展示文件列表(hdfs dfs -ls hdfs路径)4.下载文件(hdfs dfs -get hdfs路径 本地路径)5.删除(hdfs dfs -rm hdfs路径)还有很多基本上是 ...
2019-04-03 14:41:52
361
原创 力扣题最长回文
代码 public String longestPalindrome(String s) { if(s.length()==0) return ""; int mark[][]=new int[s.length()][s.length()]; for(int i=0;i<s.length();i++) { mark[i][i]...
2019-04-01 17:35:22
155
原创 Date用法1
代码public static void main(String[] args) { //1.返回当前系统时间 默认 .toStrings Date date = new Date(); System.out.println(date); //2.返回 1970 1 月 1日 +1ms 后的日期 Date date2 = new Date(1); System.out....
2019-03-28 21:22:13
411
原创 MapReduce的Job提交运行流程
运行图客户端client运行job任务(就是我们写好的Java程序,点击运行),之后,会为我我们检查路径,配置之类的错误出错了,就在控制台报了异常。成功后生成一个Job任务,此时向 resourcemanager申请提交次Job。resourcemanager会为此任务返回一个JobID,并告诉这个job,把job自己的资源,jar,配置信息发送到hdfs上Job得到这个响应了,自然将...
2019-03-26 20:12:29
259
原创 Python爬虫实战(2)之爬取NBA球队各个球员头像图片
1.目标页面2.页面分析1.每个队的球员列表都在 class=“team_name”的span下的a标签的href下2.每个球员的头像图标url 为 class=“td_padding”的td 下的a标签的 img的src3.每个球员的姓名为 class=“left”下的b的a标签内(作为图片名称)3.代码from bs4 import BeautifulSoupimpor...
2019-03-21 14:04:52
1840
2
原创 Python爬虫实战(1)之千千音乐热歌前50
爬取内容目标分析1.歌曲名称(在class=“song-title”的span下的a标签内)2.获取作者(class=“author_list” 的span 的title属性)代码import requestsfrom bs4 import BeautifulSoup'''1.目标网址 :http://music.taihe.com/top/dayhot2.发送请求,获得...
2019-03-20 20:21:38
442
原创 Java多线程之join
正常startpackage com.gao.thread;public class JoinTest implements Runnable { /* * 1.实现Runnable接口, * 2.重写run方法,并对0,9 进行输出,并打印线程名称 * 3.新建三个进程分别叫做 Thread_1 Thread_2 Thread_3 * 4.依次调用.start方法 ...
2019-03-19 22:33:02
192
原创 BeautifulSoup爬虫小结
个人感悟爬虫的最终目的是:爬取网页中的信息,也就是html文档中的信息,可以下几步:获取html文档获取想要内容所在的标签获取想要的内容(一般是标签中的文字信息 ,或者 a 连接 href)代码from bs4 import BeautifulSouphtmltext='''<!DOCTYPE html><html lang="en"><hea...
2019-03-19 22:00:28
245
原创 Linux目录
文件cdlsll4. mkdir5. touch(创)6. rm -rfvim1.进入vim的一般模式按键指令i编辑模式esc一般指令模式:wq保存退出8.cat head more tail命令描述head前10行tail后10行more只
2019-03-19 15:01:36
126
原创 BeautifulSoup之CSS选择器
选择器这里我们也通过直接写html 测试代码from bs4 import BeautifulSouphtmltext='''<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>选择器</title></...
2019-03-19 09:52:01
400
原创 BeautifulSoup之find_all()
代码import requestsfrom bs4 import BeautifulSouppath="https://blog.csdn.net/Gao__xi/article/details/88607021"header={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, ...
2019-03-18 22:48:11
1910
原创 虚拟机网络设置
学习笔记1.打开虚拟机2.打开编辑,找到虚拟网络编辑器并点击打开3.点击更改设置,此时可以对各个模式进行修改(以NAT模式为例)3.1首先编辑子网IP(192.168.56.0),子网掩码3.2打开NAT设置(这里的网关IP就是真实机网络适配器中的Vmate8的ip地址,自动更新)3.3点击DHCP设置,点击确定3.4在虚拟网络编辑器中点击确定。(结束)3.5至此虚拟机中...
2019-03-18 18:09:17
221
原创 Linux操作系统之网络配置文件
Linux网络配置文件查看编辑方式(命令 vim /etc/sysconfig/network-scripts/ifcfg-(网卡名称))vim /etc/sysconfig/network-scripts/ifcfg-ens33各字段的意义字段意义Type类型(以太网)IPADDRIp地址HWADDRMAC地址NETMASK子网掩码...
2019-03-18 16:53:01
525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人