- 博客(47)
- 收藏
- 关注
RSS订阅原创 K8s部署高可用Jenkins
K8s1.28.2集群一台可以连接外网的云主机：用于下载一些Docker镜像Jenkins-Slave部署完成后，发现Pod中默认启动的容器jnlp，只能满足我们拉取代码的任务，我们要通过Maven构建项目，并且我们项目是JDK8的，需要一个JDK8的环境，因此，我们可以构建一个自己的用于代码打包的镜像，然后添加到Jenkins-Slave的Pod中sleep 1;done"]解释下Dockerfilemaven的tar包中，我已经将settings.xml的中央仓库镜像换成了阿里云。
2024-06-23 22:51:04
1116
2
原创 Bean的生命周期
兄弟们，今天我们来看一下Spring面试题中的一个经典考点：Spring中Bean的生命周期。本文会先介绍Bean生命周期的各个阶段，并点出各个阶段重点做了哪些事情。随后会找到各个生命周期对应的源码位置。
2024-03-19 11:23:40
374
1
原创 整合美团Leaf分布式id工具包
1.如果使用雪花模式，别忘了引入zk的连接用的jar包，官方真的坑，也不提醒一下。2.启动leaf-server，去master上启动，数据库自己配置好，然后leaf-server的配置文件也配置好。3.唉…
2021-03-21 17:43:49
381
原创 Map在JDK8中新增的方法
https://www.yuque.com/docs/share/ae9ee0e8-ebb8-44bb-bf1f-f83e7400ba38?# 《Map在JDK8中新增方法使用》
2021-01-12 21:23:37
300
原创 Docker设置阿里镜像加速器仍然下载很慢
Docker设置阿里镜像加速器仍然下载很慢。1.问题起源我自己装的虚拟机，安装docker并且配置阿里的加速器，但是依旧很慢。。2.解决方式请检查你的网络配置中的 DNS配置，我配置的是114.114.114.114很慢，但是配置8.8.8.8后异常的快。...
2020-12-26 20:28:29
1610
原创 关于可重复读的Mysql实现
1.可重复读，在数据库书上的实现是在事务读时加上 共享锁，这样 如果一个事务先读，别的事务就别想改了，于是在可重复读的事务隔离级别，我无论如何读，值都是一样的，对吗？？2.Mysql实验可重复读①我在一个连接窗口A select 一把②在另一个窗口B update并提交一把，竟然可以update并提交③再在窗口A，select一把，是数据是和第一次select 一致，但是这就有问题了原始...
2020-04-11 17:02:37
349
原创 异步和阻塞的区别
异步和阻塞在我们的学习java的JUC时会听到，那么他两的区别是啥了。这里我给出现阶段我自己的理解。事：删除学生信息、查看学生列表人：线程异步、同步：一件事、多个人，如何工作阻塞、非阻塞：多件事、一个人，如何工作文章核心1.异步同步：对于一件事、多个人协作时，是否可以共同进行，可以共同进行就是异步，不可以共同进行就是按序进行就是同步2.阻塞和非阻塞：对于多件事、一个人，一个人在做A事...
2020-03-22 10:13:01
1034
原创 NIO中Selector中select()的不成熟的理解
1.描述：观看尚硅谷NIO课程后的一段NIO的选择器代码代码如下：//客户端 @Test public void client() throws IOException{ //1. 获取通道 SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 9898)); //2....
2020-03-14 11:47:32
572
1
原创 阿里云主机搭建Hadoop伪分布，支持windows上上传文件
问题产生1.我是使用阿里云的公网ip搭建，NameNode搭建不起来2.查看logs中的namenode日志，日志上让我去confluence中查看3.个人感觉是下图红色标注的问题4.总结就是说，云服务器Hadoop伪分布式就别用公网ip了。使用内网ip搭建Hadoop伪分布我省略ssh，hadoop包的下载解压。1.修改hosts 文件将主机名映射到 内网ip2.修改Had...
2020-01-13 22:04:55
258
原创 SpringBoot实现微博登录--获取用户头像、微博用户名等信息（本地测试）
写在最前面微博登录的流程：①开发者如何让用户选择微博登录后跳转到微博登录页？？https://api.weibo.com/oauth2/authorize?client_id=你的应用的APPKey&response_type=code&redirect_uri=你的授权回调地址②用户登录了，我如何知道用户登录了？？？微博需要你告诉微博，用户登录后，如何把用登录的信息告诉...
2019-12-30 15:21:37
2284
原创 Win10更新VmWare不能使用
解决方式下载Vmware15.5.0（注意一定是15.5,15.0都不行）点击其.exe文件进行安装安装路径指定和现有的Vmware安装路径相同即可Vm15.5安装会自动更新原有VM原来创建的虚拟机都还是可以用的，会保留的...
2019-11-07 10:12:03
575
原创 ZooKeeper的选举机制
1.选举时用到的一些变量myId：在配置ZK集群时每个主机上都会在myId文件中指定自己的myIdepochId：在这个集群中每当进行1次选举时，epochId就会+1，正如中文翻译一样，时代，指的就是，当前leader是第几代主节点逻辑时钟值：具体记录啥我也不知道，应该是时钟信息，主要控制当前参与投票的节点属于同一轮的选举中。举例：如果我们现在进行第3轮选举，我接到第2轮的选举信息，显然...
2019-10-24 20:25:52
217
原创 HashMap和HashTable线程安全性验证
思路：通过多个线程向同一个HashMap或HashTable插入一个key值完全相同的key值，最后在线程都执行完后打印HashMap或HashTable的大小.size1.正确结果应该是：只有 大小输出为 12.HashMap和HashTable 的执行结果①hashTable②HashMap所以说 HashTable 是线程安全HashMap不安全代码package co...
2019-08-30 21:07:00
612
1
原创 QQ第三方本地测试（Java Web）
回调地址如何写（1）伪造一个域名（2）修改hosts文件（C:\Windows\System32\drivers\etc）（3）修改tomcat的监听端口Tomcat\apache-tomcat-7.0.90\conf\server.xml(4)此时你可以启动tomcat，如果出现system端口被占用 ，关闭下图服务（5）在eclipse中创建刚刚输入的回调地址对应的 项目...
2019-05-14 21:51:03
614
原创 QQ第三方登录（JS）
步骤简介1.首先你要在QQ互联上，注册，登录和成为开发者2.创建一个网站应用3.放置一个QQ登录按钮4.复制JS代码和修改JS代码（添加自己的appID 回调地址）演示1.首先你要在QQ互联上，注册，登录和成为开发者略。。。。2.创建一个网站应用3.放置一个QQ登录按钮（1）先来个干净的页面<!DOCTYPE html><html lang="en...
2019-05-14 09:32:05
1906
原创 U盘安装系统之准备
1.下载iso镜像文件（http://www.imsdn.cn）复制后迅雷下载。2.制作U盘启动盘网上U盘启动盘的制作工具很多这里我们使用大白菜吧。。（1）这里根据自己电脑选择版本下载（我这里选择装机版）插入U盘把iso镜像放进U盘中即可...
2019-04-30 20:59:07
189
原创 Hive分区
创建一个完整的表（nba表）https://blog.csdn.net/Gao__xi/article/details/89296411创建分区表（按球队分区）导入数据
2019-04-25 11:07:49
166
原创 Hive的数据库，表的存储位置
Hive数据存储位置可以看到，在default数据库中的表的存储位置 /user/hive/warehouse其他数据库的表会在 /user/hive/warehouse/xxx.db/...
2019-04-25 10:40:48
11206
原创 Zookeeper
是什么？？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。（应用程序协调服务， 重要组件 ， 一致性 ）为什么要学习Zookeeper？使用Zookeeper可以协调客户端和服务器端，比如客...
2019-04-20 15:29:49
120
原创 Hive操作初步体验
文件内容建表语句数据导入语句查询数据hdfs文件系统中声称结果好像只是将文件从本地复制到了hdfs 下 的 /user/hive/warehouse/nba/ 的路径下
2019-04-14 14:50:24
144
原创 Hive基础（1）
What？hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。可以将sql语句直接转换成MapReduce任务的一个工具Why？其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。...
2019-04-13 14:56:45
117
原创 Pig Latin语言运算符
运算符（使用本地模式）1.LOAD运算符 LOAD ‘路径名’ USING PigStroage(‘分割符’) AS （表结构）注 路径名如果是 本地模式，就是linux路径 若是mapreducer模式则是 hdfs路径 ，分割符默认是 ‘\t’2.DUMP（查看关系中的数据是以元组的形式返回）3.DESCRIBE 关系名小结：以上三个操作，类似于将文件内容导入数据表中 ...
2019-04-13 11:28:19
677
原创 Pig组件学习笔记（1）
What？Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与 Hadoop 一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。就是个工具用于用于大数据分析Why？如果没有pig组件，我们会用Java写MapReducer程序，进行大数据分析，可是如果我不会写Java，我怎么进行数据...
2019-04-12 20:30:10
642
原创 大数据基础考前复习（2）
通过Java程序对hdfs文件系统进行操作1.创建文件夹public class MkDir { /** * @param args * @throws Exception * 1.获取文件系统对象 * 1.1 获取配置信息 * 1.2 获取hdfs（文件系统）路径 * 1.3 得到文件系统对象 *2.创建文件夹 *3....
2019-04-03 15:37:58
489
原创 大数据考前基础复习（1）
Hadoop文件系统的一些文件命令1.创建文件夹（hdfs dfs -mkdir /文件夹名称）2.上传文件（hdfs dfs -put 本地文件路径 hdfs路径）3.展示文件列表（hdfs dfs -ls hdfs路径）4.下载文件（hdfs dfs -get hdfs路径 本地路径）5.删除（hdfs dfs -rm hdfs路径）还有很多基本上是 ...
2019-04-03 14:41:52
361
原创 力扣题最长回文
代码 public String longestPalindrome(String s) { if(s.length()==0) return ""; int mark[][]=new int[s.length()][s.length()]; for(int i=0;i<s.length();i++) { mark[i][i]...
2019-04-01 17:35:22
155
原创 Date用法1
代码public static void main(String[] args) { //1.返回当前系统时间 默认 .toStrings Date date = new Date(); System.out.println(date); //2.返回 1970 1 月 1日 +1ms 后的日期 Date date2 = new Date(1); System.out....
2019-03-28 21:22:13
411
原创 MapReduce的Job提交运行流程
运行图客户端client运行job任务（就是我们写好的Java程序，点击运行），之后，会为我我们检查路径，配置之类的错误出错了，就在控制台报了异常。成功后生成一个Job任务，此时向 resourcemanager申请提交次Job。resourcemanager会为此任务返回一个JobID，并告诉这个job，把job自己的资源，jar，配置信息发送到hdfs上Job得到这个响应了，自然将...
2019-03-26 20:12:29
259
原创 Python爬虫实战（2）之爬取NBA球队各个球员头像图片
1.目标页面2.页面分析1.每个队的球员列表都在 class=“team_name”的span下的a标签的href下2.每个球员的头像图标url 为 class=“td_padding”的td 下的a标签的 img的src3.每个球员的姓名为 class=“left”下的b的a标签内（作为图片名称）3.代码from bs4 import BeautifulSoupimpor...
2019-03-21 14:04:52
1840
2
原创 Python爬虫实战（1）之千千音乐热歌前50
爬取内容目标分析1.歌曲名称（在class=“song-title”的span下的a标签内）2.获取作者（class=“author_list” 的span 的title属性）代码import requestsfrom bs4 import BeautifulSoup'''1.目标网址 ：http://music.taihe.com/top/dayhot2.发送请求，获得...
2019-03-20 20:21:38
442
原创 Java多线程之join
正常startpackage com.gao.thread;public class JoinTest implements Runnable { /* * 1.实现Runnable接口， * 2.重写run方法，并对0,9 进行输出，并打印线程名称 * 3.新建三个进程分别叫做 Thread_1 Thread_2 Thread_3 * 4.依次调用.start方法 ...
2019-03-19 22:33:02
192
原创 BeautifulSoup爬虫小结
个人感悟爬虫的最终目的是：爬取网页中的信息，也就是html文档中的信息，可以下几步：获取html文档获取想要内容所在的标签获取想要的内容（一般是标签中的文字信息 ，或者 a 连接 href）代码from bs4 import BeautifulSouphtmltext='''<!DOCTYPE html><html lang="en"><hea...
2019-03-19 22:00:28
245
原创 Linux目录
文件cdlsll4. mkdir5. touch（创）6. rm -rfvim1.进入vim的一般模式按键指令i编辑模式esc一般指令模式:wq保存退出8.cat head more tail命令描述head前10行tail后10行more只
2019-03-19 15:01:36
126
原创 BeautifulSoup之CSS选择器
选择器这里我们也通过直接写html 测试代码from bs4 import BeautifulSouphtmltext='''<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>选择器</title></...
2019-03-19 09:52:01
400
原创 BeautifulSoup之find_all()
代码import requestsfrom bs4 import BeautifulSouppath="https://blog.csdn.net/Gao__xi/article/details/88607021"header={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, ...
2019-03-18 22:48:11
1910
原创 虚拟机网络设置
学习笔记1.打开虚拟机2.打开编辑,找到虚拟网络编辑器并点击打开3.点击更改设置，此时可以对各个模式进行修改（以NAT模式为例）3.1首先编辑子网IP（192.168.56.0），子网掩码3.2打开NAT设置（这里的网关IP就是真实机网络适配器中的Vmate8的ip地址，自动更新）3.3点击DHCP设置，点击确定3.4在虚拟网络编辑器中点击确定。（结束）3.5至此虚拟机中...
2019-03-18 18:09:17
221
原创 Linux操作系统之网络配置文件
Linux网络配置文件查看编辑方式（命令 vim /etc/sysconfig/network-scripts/ifcfg-(网卡名称)）vim /etc/sysconfig/network-scripts/ifcfg-ens33各字段的意义字段意义Type类型（以太网）IPADDRIp地址HWADDRMAC地址NETMASK子网掩码...
2019-03-18 16:53:01
525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人