- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Kubernets（k8s） 网络原理三：同主机内Pod相互访问
本文分析两种主机内的组网模型，他们都可以达到主机内Pod相互通信的目的。只是采用不同的技术去实现，这两种方式没有严格的好坏之分，只是适用的场景不一样。例如fiannel和docker就是采用bridge这种方式，依赖于一个网桥进行二层数据的转发。而calico就使用的L3路由的方式。
2024-08-04 21:13:03
958
原创 Kubernets（k8s） 网络原理四：不同主机间Pod通信
在这篇文章中，我们介绍了同一个host gateway模型和overlay模型，在overlay模型中我们又介绍了IPIP技术完成网络虚拟化，其实在k8s网络虚拟化中，基本都是通过封包完成的，例如calico就使用的是IPIP，flannel的vxlan和udp模式都是基于封包完成的。
2024-08-04 02:29:03
1023
原创 Kubernets（k8s） 网络原理一：Pod与宿主机通信
对于刚接触K8S的同学来说，K8S网络显得尤为复杂，例如Pod如何访问主机以及pod间如何进行通信等。本系列文章将站在一个初学者角度，逐层刨析Kubernetes网络实现原理，并利用基本的Linux命令加以实现。
2024-07-28 16:32:05
1128
原创 视屏转码工具
最近因为工作需要，需要将其它格式的视屏转码为MP4，因此完成了这个工具该工具基于jave，但是由于jave太久没维护，里面所依赖的ffmpeg版本过低，还有一下bug，因此重写的内容如下：1、重写自动生成ffmpeg文件，和ffmpeg指令构造部分，如果需要替换ffmpeg文件，只需要将resource下面的替换掉就可以2、关于ffmpeg判断文件格式，本人看了晚上很多方法，大多数是这样的一个逻辑。a、执行ffmpeg -i demo.mp4 得到视屏信息b、读取ffpmeg的标准输出.
2021-07-28 17:42:10
949
原创 Golang使用selenium、chromedp操作Chrome
Golang使用seleniumgolang中使用selenium，具体可以参考这篇文章，不是很全，但是基础的差不多都有地址：https://bbs.huaweicloud.com/blogs/172024这里补充说一点，由于使用selenium，浏览器会出现”Chrome正受到测试软件的控制“，对于有点强迫症的我来说，看着非常不舒服！！！！可以通过下面这个参数来取消掉这个提示func main() { //1.开启selenium服务 ops := []s..
2021-07-28 16:11:35
4531
1
原创 RoaringBitmap--大数据比对、去重、
最近工作上有一个小需求：总数据量大概七亿左右，已经入库6.4亿左右，还有6千万左右数据失败了，这里的失败的原因可能有多种，现在需要判断这六千万的数据是导库工具处理失败的还是这些是脏数据（脏数据不会入库），而这些数据有一个唯一的id可以标识：9位的字符串（例如：103355296），因此，我需要做的就是重这七亿数据中找出这6千万的数据，换句话说，我需要把七亿的数据与正常入库的6.4亿数据进行一个比对，找出在七亿这个数据源里，而没有在6.4亿这个数据源里的数据。本质是一个去重的概念。要解决这个问题，首先我想
2020-12-05 01:43:27
2473
原创 RDD弹性分布式数据集
一、什么是RDD什么是RDD？RDD是只读的，分区记录的集合。RDD只能基于稳定物理存储中的数据集合以及其他已有的RDD上执行确定性操作来创建。这些确定性操作被称为转换（transformation），例如map、filter、groupBy、join。因此RDD并不需要物化。并且也因为这个机制使得RDD含有如何从其他RDD衍生出本RDD的相关信息（即Lineage：血统），因此在RDD部分...
2019-06-26 23:54:59
587
转载 SpringBoot教程
一、SpringBoot简介1.1 原有Spring优缺点分析1.1.1 Spring的优点分析1.1.2 Spring的缺点分析1.2 SpringBoot的概述1.2.1 SpringBoot解决上述Spring的缺点1.2.2 SpringBoot的特点1.2.3 SpringBoot的核心功能二、SpringBoot快速入门2.1 代码实现2...
2019-06-25 21:13:50
8833
原创 DCGAN练习
调用tf.softmax_cross_entropy_with_logits函数出错解决# loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(output, Y)) # 因此修改需要成这样： loss = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(l...
2019-06-20 22:56:17
321
原创 jupyter导出pdf
step 1：下载：https://miktex.org/downloadstep 2：如果使用的是anaconda的jupyter，则需要将F:\Anaconda3\Scripts 配置到path中step 3：配置环境变量：（我安装在D盘）D:\MiKTeX 2.9\miktex\bin\x64 配置到path中step 4：打开命令行step 5：进入对应.ipnyb ...
2019-06-20 22:53:37
3719
原创 eclipse中使用maven
这篇文章只是简单介绍maven，并用eclipse整合maven的流程，不太完善，后续有时间再补充什么是maven？ maven译作专家、内行。是Apache的一个纯java开发的开源项目，使用maven干什么？ maven可以对java项目进行项目构建和依赖管理。 项目构建：是一个项目从编写源代码到编译、测试、运行、打包、部署、运行的过程。 依赖：一个java...
2019-06-20 22:52:04
382
5
原创 Scala详细教程
Scala详细教程目录Scala详细教程1.Scala 介绍1.1 什么是 Scala Scala1.2 为什么要学 Scala2.开发环境准备2.1 ScalaSDK 安装2.1.1Window 下安装 ScalaSDK2.1.2Linux 下安装 ScalaSDK2.2 IDEA 安装2.3 IDEAScala 插件的离线安装2.4 IDEA ...
2019-06-05 17:35:36
17283
3
原创 zookeeper
zookeeper快速上手zookeeper的基本功能和应用场景zookeeper的整体运行机制zookeeper的数据存储机制数据存储形式zookeeper中存储数据的基本形式为： key ， value只是zk有点特别：key：是以路径的形式表示的，那就意味着，各key之间有父子关系，比如/ 是顶层key用户建的key只能在/ 下作为子节...
2019-06-03 00:24:20
243
原创 MapReduce模型与Yarn
MapReduce模型MapReduce编程遵循一个特定的流程，首先编写map函数和reduce函数，最好使用单元测试来确保函数的运行符合预期，然后编写一个驱动程序来运行作业，看这个作业是否可以正确运行。当然你也可以使用本地IDE来调试用例，使其能正确处理输入，并得到预期输出。map函数要编写map函数，首先需要继承Hadoop提供的Mapper这个类（org.apache.hadoo...
2019-06-02 16:26:51
263
原创 hadoop与java客户端编程
开发前准备工作在windows开发环境中做一些准备工作，因为Hadoop是适用于Linux操作系统上的，所以下载的开发包也是按照Linux系统编译的，因此，要在window下开发，需要下载源码包，使用windows进行编译。否则在使用某些功能时会提示找不到HADOOP_HOME,winutils.exe等。这里有一份已经编译的精简的windows版本（约3M左右，只保留了一些必须的功能）。链接...
2019-05-30 01:14:14
1592
原创 hdfs客户端操作
客户端的理解hdfs的客户端有多种形式：网页形式 命令行形式 客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数： dfs.blocksize副本数量的参数： dfs.replic...
2019-05-30 00:08:53
178
原创 SSH使用主机名免密登录以及异常解释
前提：已经完成主机名和IP地址映射，未完成的请在/etc/hosts下修改，并且三台主机上均有用户ws情景假设：现在我有三台主机，主机名分别是node1、node2、node3，现在我需要设置node1到node2和node3之间的免密登录，例如这样：ssh node2 便可以登录node2主机步骤一：三台主机上分别生成ssh秘钥，即在三台主机上分别执行下列代码一次，一直回车即可ssh-ke...
2019-05-27 22:14:03
1727
原创 hadoop-hdfs集群详细安装步骤
安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备3台虚拟机：1个namenode节点 + 2 个datanode 节点二、修改各台机器的主机名和ip地址主机名：node1 对应的ip地址：192.168.223.11主机名：node2 对应的ip地址：192.168.223.12主机名：node3 对应的ip...
2019-05-27 21:38:35
2493
1
原创 spark集群安装
机器部署准备两台以上的Linux服务器，我这里准备了5台服务器，集群思路大致如下：其中Zookeper是可选项，下载spark安装包配置spark进入到Spark安装目录cd /home/ws/bigdata/spark-2.3.3-bin-hadoop2.7/进入conf目录并重命名并修改spark-env.sh.template文件cd conf/mv spa...
2019-05-26 10:59:26
195
原创 解决在Windows下安装CentOS 7出现黑屏问题
最近好久没有使用虚拟机，打开之后出现黑屏，解决办法是使用在Windows下以管理员身份打开命令提示符，然后输入下列语句：netsh winsock reset重启电脑即可...
2019-04-19 20:18:37
2924
原创 Bregman 散度（Bregman divergence）和Bregman信息（Bregman information）
Bregman 散度给定一个严格凸函数 Φ\PhiΦ ,由该函数生成的Bregman散度（损失函数）D(X,Y)D(X,Y)D(X,Y)通过下面的公式给出：(1)D(x,y)=Φ(x)−Φ(y)−⟨∇Φ(y),(x−y)⟩D(x,y)=\Phi(x)-\Phi(y)-\left \langle \nabla\Phi(y),(x-y) \right \rangle \tag{1}D(x,y)...
2018-12-11 22:54:20
9454
5
原创 KL距离（Kullback-Leibler Divergence）
KL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。并不是一种距离度量方式，其物理意义是：在相同事件空间里，概率分布P(x)对应的每个事件，若用概率分布 Q(x)编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）...
2018-12-11 15:58:36
17125
2
原创 解决Perhaps you are running on a JRE rather than a JDK?和MojoFailureException问题
最近使用eclipse时在maven中安装Tomcat插件出现错误话不多说，先来一段错误提示[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project SingleWebTest: Compilation fai...
2018-11-05 23:07:30
373
iris数据集免费下载
2018-11-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人