自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(876)
  • 资源 (649)
  • 收藏
  • 关注

原创 方差的原理以及应用场景

方差是衡量数据波动性的重要指标,其应用广泛,能够帮助我们理解数据的变异程度、评估风险、以及在不同场景下做出更为科学的决策。下面是一个实际例子,说明方差的计算和应用。

2024-08-20 21:43:50 495

原创 算法解决收益最大化的问题,比如一个楼房有三种建筑方案

能否用某个算法解决收益最大化的问题,比如一个楼房有三种建筑方案,1 大型 18 层 90个单元,2 中型 12层 60个单元, 3 小型 6层 30个单元,每个单元的价格成本是30万元到60万元,这个取决于当年用工和材料成本的浮动。市场调研后发现有市场接受度会分高低1 大型 市场接受度高时候能赚2000万 接受度低时候能赔900万2 中型 市场接受度高时候能赚1400万 接受度低时候能赚500万3 小型 市场接受度高时候能赚800万 接受度低时候能赚700万。

2024-08-20 21:36:45 831

原创 利用贝叶斯和决策树 来进行医疗诊断的

要使用Python实现一个基于贝叶斯分类器和决策树的医疗诊断功能,我们需要构建一个模型,该模型可以根据病人描述的症状预测可能的病症。这个模型将利用贝叶斯分类器和决策树来进行预测。:我们需要一个包含不同症状和对应病症的数据集。这个数据集将用于训练我们的贝叶斯分类器和决策树。:我们使用朴素贝叶斯分类器来根据给定的症状计算每个病症的概率。:我们使用决策树模型来进一步细化和验证预测结果。:根据患者输入的症状,依次使用贝叶斯分类器和决策树来进行病症预测。000。

2024-08-20 20:57:00 500

原创 Doc2Vec

Doc2Vec 是一种扩展自 Word2Vec 的算法,它不仅可以生成词向量,还可以生成句子或文档的向量。

2024-08-12 18:04:30 391

原创 word2vec 如何用多个词表示一个句子

word2vec 模型通常用于将单词映射为固定大小的向量。

2024-08-12 18:03:07 360

原创 word2vec,是如何利用神经网络把一个onehot编码压缩成向量

Word2Vec 使用神经网络作为其核心组件来学习单词的向量表示。下面将介绍 Word2Vec 中的两种主要架构:CBOW(Continuous Bag-of-Words)和 Skip-Gram,并使用 CBOW 作为示例来说明这个过程。

2024-08-12 17:58:08 513

原创 MLP 多次感知器如何使用 二分类和多分类示例

多层感知器(MLP)是神经网络的一种基本类型,通常用于分类或回归任务。下面是一个简单的 Python 示例,演示如何使用多层感知器进行分类任务。我们将使用库中的来创建一个多层感知器,并在鸢尾花数据集上进行训练和测试。

2024-08-09 13:20:02 273

原创 QKV 归一化步及多层感知机 MLP

在 Transformer 模型中,QKV 输出的值通常会经过一个归一化步骤,随后通过一个多层感知机(MLP)来进一步处理。

2024-08-07 21:12:18 313

原创 Transformer 模型中的 QKV 机制是如何运作的

当然可以。让我们通过一个简化的例子来展示 Transformer 模型中的 QKV 机制是如何运作的。假设我们正在处理一个包含两个词“你好”和“世界”的序列,并且为了简单起见,我们使用一个非常小的嵌入维度来说明这个概念。

2024-08-07 20:54:37 324

原创 Transformer Q K V

Transformer 模型中的 QKV 分别代表 Query(查询)、Key(键)和 Value(值),这是 Transformer 模型中自注意力机制(Self-Attention Mechanism)的核心组成部分。

2024-08-07 20:52:00 350

原创 两个向量的余弦相似度如何计算

两个向量的余弦相似度是通过测量两个向量在方向上的相似性来计算的。\[ \text{余弦相似度}(A, B) = \frac{A \cdot B}{\|A\| \|B\|} \]\[ \text{余弦相似度}(A, B) = \frac{A \cdot B}{\|A\| \|B\|} \]- \( A \cdot B \) 表示向量 A 和向量 B 的点积(内积)。- \( \|A\| \) 表示向量 A 的欧几里得范数(即长度)。- \( \|B\| \) 表示向量 B 的欧几里得范数。

2024-08-06 21:21:31 847

原创 Softmax函数

在多分类问题中,每个类别都会得到一个在0到1之间的概率值,这些概率值的总和为1。在这个例子中,`softmax` 函数首先计算输入向量 `z` 中每个元素的指数,然后计算所有指数的和,最后用每个元素的指数除以这个和,得到每个类别的概率。使用 `stable_softmax` 函数代替之前的 `softmax` 函数可以避免在处理非常大数值时可能出现的数值不稳定问题。其中,\( e^{z_i} \) 是 \( z_i \) 的指数,分母是所有指数的和,确保了所有概率之和为1。# 计算所有指数的总和。

2024-08-06 21:06:26 432

原创 微软AI系列 C#中实现相似度计算涉及到加载图像、使用预训练的模型提取特征以及计算相似度

在C#中实现相似度计算涉及到加载图像、使用预训练的模型提取特征以及计算相似度。你可以使用.NET中的深度学习库如TensorFlow.NET来加载预训练模型,提取特征,并进行相似度计算

2024-03-19 15:55:40 625 1

原创 微软AI系列 如何使用微软及相关产品来实现 文字转语音

通过Speech SDK,你可以访问Azure的语音服务,并使用其中的语音合成功能进行AI配音。:Azure还提供了自定义语音服务,可以让用户创建自己的语音合成模型,从而实现更加个性化和自然的语音合成。你可以通过Azure平台上的自定义语音服务来训练自己的模型,然后将其集成到你的应用程序中。:Microsoft也提供了直接使用的文本转语音API,你可以通过调用这些API来实现文本到语音的转换。记得在实际使用时,遵循 Azure 认知服务的使用条款,并注意保护你的密钥和数据。在这个示例中,你需要替换。

2024-03-14 08:18:36 859

原创 如何使用OpenAI进行embedding句子后,输入新句子比较

如何使用OpenAI进行embedding句子后,输入新句子比较

2023-05-26 00:14:49 1510

原创 JS调用MetaMask调用启动转账

1 、代码必须跑在nginx下,否则没有eth对象。2、可以下载ganache来单跑个私服,然后安装谷歌metamask浏览器插件来实验3、账户1:0xFA387e41FA471172cC729167EBD4862aA7020D91 账户2:0x818DF62ff0bE3B28AE8be25e2e848E10138018B74、1000000000000000 为金额

2022-11-16 23:40:29 1513 2

转载 Docker安装Confluence

参考链接: https://my.oschina.net/u/2289161/blog/1648587 https://hub.docker.com/r/cptactionhank/atlassian-confluence/dockerfile https://my.oschina.net/u/2289161/blog/1647061 https://my.oschina.net/u/2289161/blog/838218 https://hub.docker.com/r/cptactionhan

2022-07-16 20:11:00 2115 1

转载 Python cv2 图片的几何变形

import cv2 as cvimport numpy as npfrom matplotlib import pyplot as pltimg = cv.imread('sudoku.png')rows,cols,ch = img.shapepts1 = np.float32([[56,65], [368,52], [28,387], [389,390]])pts2 = np.float32([[0,0], [300,0], [0,300], [300,300]])M ...

2021-11-19 23:48:28 926 1

转载 windows docker 空出C盘 迁移到其他盘

下面是操作方法: 首先关闭docker 关闭所有发行版:wsl --shutdown 将docker-desktop-data导出到D:\SoftwareData\wsl\docker-desktop-data\docker-desktop-data.tar(注意,原有的docker images不会一起导出)wsl --export docker-desktop-data D:\SoftwareData\wsl\docker-desktop-data\docker-desktop

2021-11-13 22:01:21 1005

转载 Docker kafka

阅读目录一、下载镜像 二、先启动zookeeper 三、启动kafka 四、创建一个topic(使用代码次步可省略) 五、kafka设置分区数量 六、python代码回到顶部一、下载镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka回到顶部二、先启动zookeeper#单机方式docker run -d --name zookeeper -p 2181:2181 -t wurst

2021-10-17 22:22:20 361

转载 openshift for linux

安装openshift1、下载地址:https://github.com/openshift/origin/releases3.11下载:https://github.com/openshift/origin/releases/tag/v3.11.02、上传到/opt目录mv openshift-origin-server-v3.11.0-0cbc58b-linux-64bit.tar.gz /opt1.3、解压cd /opttar -zxvf openshift-origi...

2021-10-17 20:25:30 349

原创 K8S常用命令

https://kubernetes.io/docs/reference/(cmd rest web) apiserver 调用方法->etcd 数据库 -> schedule 决策用哪个Nodes资源 -> controller 最终一致性-ns--nodes---deploy----replicaset-----podskubectl get nodes 获取物理机节点kubectl get ns 获取命名空间kubectl get pods 获取pod资源 默认.

2021-09-18 13:31:51 395

原创 Java lamda表达式快速分组

public class ProductDto { private long month; private String cate; private double count;}Map<String,List<ProductDto>> categoryMap = alllist.getValue().stream().collect(Collectors.groupingBy(ProductDto::getCate));

2021-08-24 15:00:19 827

转载 Spark Windows

 本文主要是讲解Spark在Windows环境是如何搭建的一、JDK的安装1、1 下载JDK  首先需要安装JDK,并且将环境变量配置好,如果已经安装了的老司机可以忽略。JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,去Oracle官网下载,下载地址是Java SE Downloads。  上图中两个用红色标记的地方都是可以点击的,点击进去之后可以看到这个最新版本的一些更为详细的信息,如下图所示:  下载完.

2021-08-07 16:52:01 287

转载 fastjson反序列化漏洞原理及利用

重要漏洞利用poc及版本我是从github上的参考中直接copy的exp,这个类就是要注入的类import java.lang.Runtime; import java.lang.Process; public class Exploit { public Exploit() { try{ // 要执行的命令 String commands = "calc.exe"; Process pc = Runtime.getRuntime().exec(commands); pc.waitFor()

2021-07-01 13:55:49 3470 1

转载 利用 Docker 搭建单机的 Cloudera CDH 以及使用实践

利用 Docker 搭建单机的 Cloudera CDH 以及使用实践想用 CDH 大礼包,于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了:首先前往官方下载包:https://www.cloudera.com/downloads/quickstart_vms/5-13.html如果使用 mac 并且安装 docker。 我们可以很轻松的使用 kitematic 来获取最新版本的 cloudera docker 镜像。只需要搜

2021-05-21 10:28:25 1582

原创 zookeeper+kafka+logstash+elasticsearc+kibana

研究背景1、之所以选用kafka是因为量起来的话单台logstash的抗压能力比较差2、为了解决整个链路查询的问题,多个Feign传层的话,可以按照一个ID进行穿层,所以采用logback的MDC进行对唯一标识存储并且在Feign的调用链放在Header里,这里命名为TID下载地址:ZK+Kafkahttps://mirrors.bfsu.edu.cn/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgzhttps://mirrors.bfsu.edu.cn

2021-05-14 21:06:32 470

转载 logstash windows

最新在研究elastic stack (elk) :logstash 安装,下载最新版本的logstash:点击打开链接解压到磁盘根目录下:在logstash>bin1、目录下创建:logstash.conf2、输入内容:input {stdin{}}output {stdout{}}3、ok 了,启动成功...

2021-05-12 11:09:15 257

转载 Feign接口 多线程问题

Spring Cloud Feign传输Header,并保证多线程情况下也适用一、现象微服务在生产中,常遇到需要把 header 传递到下一子服务的情况(如服务A访问服务B的接口,需要传递header),网上大多数的方案是实现 RequestInterceptor 接口,在重写方法中,把 header 填进 Feign 的请求中。我们先按这种方式,简单实现代码如下:1、继承RequestInterceptor服务A新建类,继承 RequestInterceptor,把 header 设置到请求中,

2021-04-15 20:11:22 6953 2

转载 kafka logstash elk

前言企业开发中,一个应用会有多个测试环境,于是会有一个专门的服务器做日志收集,那就需要保存日志和应用隔离,这里就牵涉到异步存写日志的问题,异步消息队列选取kafka,高性能,日志消息消费我们使用logstash。这里也可以都使用elk(土豪请绕过)。Kafka的搭建习惯使用docker-compose启动,脚本如下:version: '2'services: zookeeper: image: wurstmeister/zookeeper ## 镜像 ports:...

2021-04-12 21:00:17 189

转载 WINDOWS上KAFKA运行环境安装

WINDOWS上KAFKA运行环境安装1. 安装JDK1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> "高级系统设置" -> "环境变量"):JAVA_HOME:C:\Program Files\Java\jdk1.8.0_171 (jdk的安装路径)Path: 在现有的值后面添加"; %JAV..

2021-04-12 20:44:03 107

原创 ELK7.8.1的Docker搭建过程

在linux下首先在目录准备文件首先说明,我的电脑宿主机的IP是192.168.1.5为es准备文件mkdir -p /opt/elk7/escd /opt/elk7/es#创建对应的文件夹 数据 / 日志 / 配置mkdir conf data logs #授权chmod 777 -R conf data logs然后进入到/opt/elk7/es/conf下vim elasticsearch.yml以下是elasticsearch.yml 的内容cluste

2021-04-03 17:39:11 295

转载 @Async join

直接贴代码自定义线程池package com.xh.lawsuit.rest.modular.example;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;impo...

2021-03-25 10:22:02 271

转载 Elk7.2 Docker

正如官方所说的那样 https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html,Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足,我们可以使用下面这条命令来增加内存为了防止ElasticSearch启动报错,max file descriptors [65535] for elasticsearch process is too low

2021-03-10 10:59:07 285

转载 arthas命令redefine实现Java热更新

Arthas非常重要的命令redefine,主要作用是加载外部的.class文件,用来替换JVM已经加载的类,总结起来就是实现了Java的热更新。redefine在一下几种情况中会失败:1、增加了field;2、增加了method;3、替换正在运行的方法。前两个比较好理解,第三个意思就是这个方法必须结束之后才会被替换,如果有个方法开始运行之后就不会跳出,那么这个方法所在的类是无法被替换的,类似无限循环的方法。场景需求举个例子,在线上代码某个class的方法添加日志输出,修改方法返回结果,但是,又不

2021-02-26 17:08:16 1432

转载 分布式锁RedLock的java实现Redisson

1. 概述Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。其中包括(BitSet, Set, Multimap, SortedSet, Map, List, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, AtomicLong, CountDownLatch, Publish / Subscribe,

2021-02-12 16:47:47 339

转载 Redis下载及安装(windows版)

下载地址1、Github下载地址:https://github.com/MicrosoftArchive/redis/releases2、百度网盘下载地址 https://pan.baidu.com/s/1z1_OdNVbtgyEjiktqgB83g 密码:kdfq安装过程1.首先先把下载的压缩包解压到一个文件夹中2.打开cmd指令窗口3.输入你刚才解压的文件路径4.然后输入redis-server redis.windows.conf 命令接下来部署R...

2021-02-12 08:55:19 128

转载 OpenJDK研究

这里以32位Windows 7为例安装必须的软件JDK1.8CygwinMicrosoft Visual Studio 2010(请下载英文版)这里就不介绍怎么安装这些软件了,假设安装后的目录名分别是:(请根据你的实际情况调整这些目录名)D:\JavaSE1.8D:\CygwinD:\VS2010增加环境变量JAVA_HOME指向D:\JavaSE1.8,并把D:\JavaSE1.8\bin;D:\Cygwin\bin;D:\VS2010\VC\bin加到Path环境变量。.

2021-02-03 11:35:26 171

转载 synchronized 底层如何实现?什么是锁升级、降级?

synchronized 底层如何实现?什么是锁升级、降级?synchronized 代码块是由一对 monitorenter/monitorexit 指令实现的,Monitor 对象是同步的基本实现单元。https://docs.oracle.com/javase/specs/jls/se10/html/jls-8.html#d5e13622在Java6之前, Monitor的实现完全是依靠操作系统内部的互斥锁,因为需要进行用户态到内核态的切换,所以同步操作是一个无差别的重量级操作。现代的( O

2021-02-02 16:37:17 585

转载 java并发synchronized 锁的膨胀过程(锁的升级过程)深入剖析(2)

接下来我们分析两个批量偏向撤销的相关案例(禁止偏向锁延迟的情况下:-XX:+UseBiasedLocking -XX:BiasedLockingStartupDelay=0):案例一: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

2021-02-02 15:53:48 154

加特林压力测试代码示例 gatling stress test samples

加特林压力测试代码示例 gatling stress test samples 可以增加线程 持续时间来达到一定量的QPS

2022-05-24

C# 隐写 二维码隐藏到网页

打开yxs.html,然后打开程序,可以测试出截取网页的图片后,如果在其他渠道,比如画图,粘贴就无水印,粘贴到微信,就加上了二维码溯源水印

2021-05-18

LSB隐写术 C#源代码

隐写术是隐藏的艺术通信隐藏的以事实的地方,由隐藏信息的其他信息。可以使用许多不同载体的文件格式,但数字图像是最流行的因为他们在互联网上的频率。对于隐藏秘密信息在图像中的,都存在一个种类繁多的信息隐藏技术有些比其他人更复杂,他们都有各自的强和弱点。不同的应用程序可能需要绝对隐形的秘密信息,而另一些需要一个大的秘密消息来被隐藏。本项目报告打算给图像隐写术,其用途和技术的概述

2021-05-17

javac++.zip

JDK7,OpenJDK(HotSpot JVM、Javac)源代码学习研究(包括代码注释、文档、用于代码分析的测试用例)

2021-02-03

de4dot.zip

1、CMD 打开 De4Dot 所在文件夹 最好是以管理员身份运行CMD 2、输入 De4Dot C:\Users\muzigaiyu\Desktop\demo.exe 回车 3、成功后会在软件所在文件夹生成 demo-cleaned.exe 在用dotpeek 或者其他软件打开exe即可看到net源码 4、 一变混合 可以加 -v参数

2020-06-01

H5-Kline-master.zip

H5-Kline是基于echarts封装的非常轻量级的股票行情图表 功能点 基于ECharts的股票行情分时、K线、MACD、DIF、DEA图表 (绝无仅有)

2020-03-19

使用SpringBoot整合jersey 实现Restful web service.同时整合springmvc。

使用SpringBoot整合jersey 实现Restful web service.同时整合springmvc。

2020-02-23

NET_20.rar

在Visual Studio2005中实现SFTP上传,下载的dll文件,在Visual Studio2005中实现SFTP上传,下载的dll文件

2020-01-14

Spring Boot 拦截器+kibana 配置.zip

Spring Boot 拦截器 各项日志 通过kibana具体查询分析 Advanced Settings [7.2.0] 综合分析 定时任务执行日志 数据同步日志 用户访问操作日志 异常日志 内存日志 Spring逻辑参数执行日志 SQL流水日志 Feign接口调用日志 // 获取header中的属性 RequestAttributes requestAttributes = RequestContextHolder.getRequestAttributes(); if (requestAttributes == null) { return; } HttpServletRequest request = ((ServletRequestAttributes) requestAttributes).getRequest(); Enumeration<String> headerNames = request.getHeaderNames(); if (headerNames != null) { while (headerNames.hasMoreElements()) { String name = headerNames.nextElement(); Enumeration<String> values = request.getHeaders(name); while (values.hasMoreElements()) { String value = values.nextElement(); if("content-type".equalsIgnoreCase(name) && value.contains("multipart/form-data")){ break; } template.header(name, value); } } } }

2019-09-04

SKU 相关代码及知识

1、模拟淘宝产品SKU信息的组合添加规格组合 2、SKUDemo 淘宝商户端发布商品时,动态生成SKU表格的实例 可以根据自己项目 修改js文件实现 3、HeadSearchView 商城的商品有多规格的时候的选择页面。能够无限制的添加规格类型如:颜色,尺码,风格,等 4、html.zip可以自定义sku属性,根据自己的需求来填写数据后生成想要的表格数据 5、SKUDemo (1) 销售属性;仿淘宝SKU;SKU表格 6、添加商品规格例子新.rar 添加商品规格例子新,添加商品规格例子新,添加商品规格例子新,添加商品规格例子新,添加商品规格例子新,添加商品规格 例子新,添加商品规格例子新

2019-01-23

Face++ C# Demo实现web API 人脸比对,识别等接口

实现了以下接口 https://api-cn.faceplusplus.com/facepp/v3/compare https://api-cn.faceplusplus.com/facepp/v3/detect https://api-cn.faceplusplus.com/facepp/v3/faceset/create https://api-cn.faceplusplus.com/facepp/v3/faceset/addface https://api-cn.faceplusplus.com/facepp/v3/search 人脸识别,人脸集合创建,查找,两张人脸图片比对 并对返回结

2019-01-05

ELK6.2.4搭建

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站:https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。 Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。 ELK下载:https://www.elastic.co/downloads/ ELK工作原理: ElasticSearch 配置ElasticSearch: 1 2 unzip elasticsearch-6.2.4.zip cd elasticsearch-6.2.4 然后编辑ES的配置文件: 1 vi config/elasticsearch.yml 修改以下配置项: 1 2 3 4 5 6 7 cluster.name=es_cluster node.name=node0 path.data=/tmp/elasticsearch/data path.logs=/tmp/elasticsearch/logs #当前hostname或IP,我这里是node1 network.host=node1 network.port=9200 其他的选项保持默认,然后启动ES: 1 nohup sh elasticsearch > nohup.log & 注意: 1.需要添加用户elk,ES不能以root用户进行启动 2.可能出现的错误: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 1 2 3 vi /etc/security/limits.conf elk soft nofile 819200 elk hard nofile 819200 max number of threads [1024] for user [work] likely too low, increase to at least [2048] 1 2 3 4 vi /etc/security/limits.d/90-nproc.conf * soft nproc 1024 #修改为: * soft nproc 2048 max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] 1 2 3 4 5 vi /etc/sysctl.conf #增加改行配置: vm.max_map_count=655360 #保存退出后,执行: sysctl -p 另外再配置ES的时候,threadpool.bulk.queue_size 已经变成了thread_pool.bulk.queue_size ,ES_HEAP_SIZE,ES_MAX_MEM等配置都变为ES_JAVA_OPTS这一配置项,如限制内存最大最小为1G: 1 export ES_JAVA_OPTS="-Xms1g -Xmx1g" 然后可以打开页面http://node1:9200/,将会看到以下内容:(我是通过外部访问虚拟机,因此为了简单没有配置host文件,直接用ip访问) Logstash 配置Logstash: 1 2 tar -zxvf logstash-6.2.4.tar.gz cd logstash-6.2.4 编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log_app.conf): 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 vi config/log_app.config #以下为内容 input { file { path => "/usr/local/software/elk/app.log" start_position => "beginning" #从文件开始处读写 } # stdin {} #可以从标准输入读数据 } filter { #Only matched data are send to output. } output { # For detail config for elasticsearch as output, # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html elasticsearch { action => "index" #The operation on ES hosts => "node1:9200" #ElasticSearch host, can be array. index => "applog" #The index to write data to. } } 其他的选项保持默认,然后启动Logstash: 1 2 # -f为指定配置文件 nohup sh ./bin/logstash -f ../config/log_app.config > nohup.log & 日志: Kibana 配置Kibana: 1 2 tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz cd kibana-6.2.4-linux-x86_64 修改以下几项(由于是单机版的,因此host的值也可以使用localhost来代替,这里仅仅作为演示): 1 2 3 4 server.port: 5601 server.host: “node1” elasticsearch.url: http://node1:9200 kibana.index: “.kibana” 启动kibana: 1 nohup sh ./bin/kibana > nohup.log & 启动后界面: 然后需要创建index,步骤如下: ①点击左边iscover出现以下界面 ②按照注释配置,然后点击Next step,在第二页 选择@timestamp点击create创建 ③创建完成之后,可以看到以下一个界面,红框内是 自动生成的域,也可以理解为 跟数据库中的字段类似,其中有一个message字段,就是我们想要的日志信息。 ④再次点击Discover出现以下界面,可以看到默认搜索的是最后15分钟的日志,可以通过点击设置搜索的时间范围. ⑤可以点击右侧域的add设置需要显示的字段 添加完成之后,日志显示如下:

2018-11-15

Xshell6 可用的免费版本

Xshell6 可用的免费版本

2018-11-13

最新百度地图API Javascript V2.0 离线版本。 完全脱离百度在线地图, 有比较完善的示例Demo, 默认带有全国8级地图

最新百度地图API Javascript V2.0 离线版本。 完全脱离百度在线地图, 有比较完善的示例Demo, 默认带有全国8级地图

2018-11-13

Fiddler4 以及证书https

Fiddler简介: 一个很强大的抓包工具 1.安装: Filddler官网:点击打开链接 我安装的是filddler4:点击打开链接 直接下载文件,然后一路下一步就可以了 1.下载文件: 2.安装文件一路下一步即可 3.安装完成后打开软件出现: 接着安装完成后来说说遇到的坑——Filddler安全证书安装 安装证书失败的解决: 1、首先确保安装的 Fiddler 是较新的版本,比较老的版本可能会出现安装不上fiddler证书生成器的问题。 2、关闭Fiddler。 3、下载并安装Fiddler证书生成器。点击打开链接 4、打开Fiddler,点击工具栏中的Tools——>Fiddler Options… 5、切换到 HTTPS 选项卡,勾选 Capture HTTPS CONNECTs,勾选 Decrypt HTTPS trafic,会弹出安装证书的提示。一路点是或确定安装即可。 6、重启fiddler,依然停留在 HTTPS 选项卡,点击右侧Actions,能看一个下拉菜单,点击 Export Root Certificate to Desktop,此时证书会生成到桌面上,名为 FiddlerRoot.cer,点OK保存

2018-11-07

FiddlerCertMaker

关于高版本Fiddler导出的证书在ipad上安装显示未验证的问题,Google原文如下: Q:Can Fiddler intercept traffic from Apple iOS devices like iPad/iPhone/iPodTouch and Android devices? A: Yes, but these devices may not becompatible with the default certificates Fiddler generates. To resolve the incompatibility, you mayreplace Fiddler's default certificate generator with one that generatescertificates containing flags (e.g. AKID, SKID) that are compatible with theseplatforms. Simply download and install the newCertificateMaker and restart Fiddler. 安装一个证书生成器

2018-11-01

.net2.0 Mysql

String mysqlStr = "Database=test;Data Source=127.0.0.1;User Id=root;Password=root;pooling=false;CharSet=utf8;port=3306"; MySqlConnection mysql = new MySqlConnection(mysqlStr); 或者 string MyConString = "DRIVER={MySQL ODBC 3.51 Driver};" + "SERVER=localhost;" + "DATABASE=inv;" + "UID=root;" + "PASSWORD=root;" + "OPTION=3"; OdbcConnection MyConnection = newOdbcConnection(MyConString);

2018-10-24

ELK( ElasticSearch、Logstash和Kiabana)

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题,ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。 因为ELK是可以跨平台部署,因此非常适用于多平台部署的应用。 二 环境准备 1. 安装JDK1.8环境 2. 下载ELK软件包 logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip elasticsearch:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip 分别解压下载的软件,elasticsearch,logstash,kibana 可以放在一个统一文件夹下 三 部署 1.配置logstash 在logstash文件夹的下bin目录创建配置文件logstash.conf ,内容如下: input { # 以文件作为来源 file { # 日志文件路径 path => "F:\test\dp.log" } } filter { #定义数据的格式,正则解析日志(根据实际需要对日志日志过滤、收集) grok { match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"} } #根据需要对数据的类型转换 mutate { convert => { "duration" => "integer" }} } # 定义输出 output { elasticsearch { hosts => ["localhost:9200"] #Elasticsearch 默认端口 } }   在bin目录下创建run.bat,写入一下脚本: logstash.bat -f logstash.conf 执行run.bat启动logstash。 2. 配置Elasticsearch elasticsearch.bat即可启动。 启动后浏览器访问 127.0.0.1:9200 ,出现以下的json表示成功。 3.配置kibana Kibana启动时从文件kibana.yml读取属性。默认设置配置Kibana运行localhost:5601。要更改主机或端口号,或者连接到在其他机器上运行的Elasticsearch,需要更新kibana.yml文件。 kibana.bat启动Kibana。

2018-07-20

eureka-server+gateway-service+user-service+zipkin-server

eureka-server+gateway-service+user-service+zipkin-server 本文案例一共四个工程采用多Module形式。需要新建一个主Maven工程,主要指定了Spring Boot的版本为1.5.3,Spring Cloud版本为Dalston.RELEASE。包含了eureka-server工程,作为服务注册中心,eureka-server的创建过程这里不重复;zipkin-server作为链路追踪服务中心,负责存储链路数据;gateway-service作为服务网关工程,负责请求的转发,同时它也作为链路追踪客户端,负责产生数据,并上传给zipkin-service;user-service为一个应用服务,对外暴露API接口,同时它也作为链路追踪客户端,负责产生数据。

2018-07-18

vue 一套前端框架

vue-element-admin is a production-ready solution for admin interfaces. Based on Vue.js and use the UI Toolkit -- element. vue-element-admin is a magical vue admin, it based on the newest development stack of vue, built-in i18n solution, typical templates for enterprise applications, lots of awesome features. It helps you build a large complex Single-Page Applications. I believe whatever your needs are, this project will help you.

2018-05-31

weUI 入门教程:http://blog.csdn.net/libin_1/article/details/50734266

weUI 入门教程:http://blog.csdn.net/libin_1/article/details/50734266

2018-05-17

PostMan工具离线安装

Postman是一款功能强大的网页调试与发送网页HTTP请求的Chrome插件 打开chrome浏览器,单击右上角“≡”图标--&gt; “更多工具” --&gt; “扩展程序”; 下载类似Postman_v4.9.2.crx以crx为后缀的文件,改成“zip”或"rar"文件,解压该文件, 将文件夹里的“_metadata”文件夹名字改成“metadata”; 点击chrome浏览器“加载正在开发的扩展程序...”按钮,然后选中解压的文件夹; 点击加载后的postman界面上的“启动”即可。

2018-04-17

DsoFramer_KB311765_x86.exe 微软官方office控件,其中含源码,C、C++、Web 三种demo

DsoFramer_KB311765_x86.exe 微软官方office控件,其中含源码,C、C++、Web 三种demo

2018-04-13

weui开发的手机商城模板

weui开发的一完整手机移动端商城购物平台整站html模板源码下载,包括首页,购物车,订单管理,评价,分类,会员中心等,全面到注册协议都弄好了。

2018-04-12

nodejs上传下载管理文件

nodejs上传下载管理文件nodejs上传下载管理文件nodejs上传下载管理文件nodejs上传下载管理文件nodejs上传下载管理文件

2018-04-06

使用springboot集成jseesite

使用 springboot 改造 jeesite,只保留最简单的系统配置 。 介绍 1、运行主类,登录 admin/admin com.wolfking.jeesite.WolfkingJeesiteDriver 2、砍掉了所有的冗余的东西,只保留系统配置,数据库脚本 wolfking-jeesite.sql 3、使用 springboot 集成,使用 HikariDataSource 数据源 4、mvn install 打包运行 java -jar wolfking-jeesite-1.0.0-SNAPSHOT.war 5、如果使用外置的配置文件,在启动参数添加 java -jar --spring.config.location=./application.yml wolfking-jeesite-1.0.0-SNAPSHOT.war 6、由于 boot 对 jsp 的集成问题,只能用tomcat 和jetty 启动,undertow 有问题

2018-03-28

Windows Server 2008 + tomcat 配置使用SSL.docx

Windows Server 2008 + tomcat 配置使用SSLWindows Server 2008 + tomcat 配置使用SSLWindows Server 2008 + tomcat 配置使用SSL

2018-02-23

源自开源的甘特图组件jquery gantt 可拖拽

源自开源的甘特图组件jquery gantt,加上了拖拽和resize功能,enjoy!

2018-02-12

C# idx1-ubyte idx3-ubyte转图片 文字 浏览器

扩展名为idx1-ubyte一般为Lables idx3-ubyte是图片张量集合 要同时选中两个文件才能进行同时预览是什么值

2018-01-04

TensorFlowSharp-master

TensorFlowSharp-masterTensorFlowSharp-masterTensorFlowSharp-masterTensorFlowSharp-master

2018-01-02

tensorflow 摄像头调用 Inception v1分类 vs2017 C#

TensorFlow自带例子已经包含了android和ios下的摄像头图像分类示例Inception v1,这里补充一个Windows下的,使用AForge库(www.aforgenet.com)操作摄像头。

2018-01-02

tensorflow-sharp例子大全

learn-tensorflow-sharp-master 里面已经有了libtensorflow.dll

2018-01-02

libtensorflow.dll

libtensorflow.dll 应用于TensorflowSharp的目录下使用的资源

2018-01-02

Docker 快速安装caffe步骤

1.打开 2.解压 3.将这个压缩包传到linux里面 (我的环境如下: 我在win7虚拟机里面装的linux,用xshell用具链接linux,xftp实现win7和linux文件的传输。 3 可以使用 docker import 从容器快照文件中再导入为镜像,例如 cat ubuntu_c affe.tar | sudo docker import - test/ubuntu_caffe:v1.0 docker images 4建一个 Docker 实例: docker run -i -t test/ubuntu_caffe:v1.0 /bin/bash 5 执行训练: cd ~ cd caffe ./examples/mnist/train_lenet.sh 比较慢,多等一会儿!!! PS:centos7安装docker(其他版本安装centos自行百度) CentOS 7 中 Docker 的安装 Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令: 1.[root@localhost ~]# yum install docker 启动 Docker 服务 安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动: 1.[root@localhost ~]# service docker start 2.[root@localhost ~]# chkconfig docker on (LCTT 译注:此处采用了旧式的 sysv 语法,如采用CentOS 7中支持的新式 systemd 语法,如下: 1.[root@localhost ~]# systemctl start docker.service 2.[root@localhost ~]# systemctl enable docker.service )

2017-12-21

快速安装caffe步骤

1.百度云获取caffe镜像 链接:http://pan.baidu.com/s/1o8NNlOm 密码:9a5x 2.解压 3.将这个压缩包传到linux里面 (我的环境如下: 我在win7虚拟机里面装的linux,用xshell用具链接linux,xftp实现win7和linux文件的传输。 3 可以使用 docker import 从容器快照文件中再导入为镜像,例如 cat ubuntu_caffe.tar | sudo docker import - test/ubuntu_caffe:v1.0 docker images 4建一个 Docker 实例: docker run -i -t test/ubuntu_caffe:v1.0 /bin/bash 5 执行训练: cd ~ cd caffe ./examples/mnist/train_lenet.sh 比较慢,多等一会儿!!! PS:centos7安装docker(其他版本安装centos自行百度) CentOS 7 中 Docker 的安装 Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令: 1.[root@localhost ~]# yum install docker 启动 Docker 服务 安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动: 1.[root@localhost ~]# service docker start 2.[root@localhost ~]# chkconfig docker on (LCTT 译注:此处采用了旧式的 sysv 语法,如采用CentOS 7中支持的新式 systemd 语法,如下: 1.[root@localhost ~]# systemctl start docker.service 2.[root@localhost ~]# systemctl enable docker.service )

2017-12-21

EM抛硬币算法

Excel来解释公式,简单容易理解 这是一个抛硬币的例子,H表示正面向上,T表示反面向上,参数θ表示正面朝上的概率。硬币有两个,A和B,硬币是有偏的。本次实验总共做了5组,每组随机选一个硬币,连续抛10次。如果知道每次抛的是哪个硬币,那么计算参数θ就非常简单了,如上图所示。 如果不知道每次抛的是哪个硬币呢?那么,我们就需要用EM算法,基本步骤为:1、给θA和θB一个初始值;2、(E-step)估计每组实验是硬币A的概率(本组实验是硬币B的概率=1-本组实验是硬币A的概率)。分别计算每组实验中,选择A硬币且正面朝上次数的期望值,选择B硬币且正面朝上次数的期望值;3、(M-step)利用第三步求得的期望值重新计算θA和θB;4、当迭代到一定次数,或者算法收敛到一定精度,结束算法,否则,回到第2步。

2017-12-20

ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版)

ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版) ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版) ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版) ID3 算法 决策树使用的算法与阿里巴巴Java开发手册(终极版)

2017-12-15

Netica贝叶斯

贝叶斯NeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNeticaNetica

2017-12-14

Mysql安装Linux

一、卸载原来的mysql: 卸载一: 输入: #rpm -qa | grep -i mysql 显示: mysql-libs-5.1.52-1.el6_0.1.i686 卸载方法: yum -y remove mysql-libs-5.1.52-1.el6_0.1.i686 卸载二: 输入: #rpm -qa | grep -i mysql 显示: MySQL-client-5.1.62-1. glibc23.i386 MySQL-server-5.1.62-1.glibc23.i386 卸载方法: #rpm -ev MySQL-client-5.1.62-1.glibc23.i386 MySQL-server-5.1.62-1.glibc23.i386 二、安装MySQL服务器端: 安装文件:MySQL-server-5.1.62-1.glibc23.i386.rpm # rpm -ivh /software/mysql/MySQL-server-5.1.62-1.glibc23.i386.rpm 这是在/usr/share/mysql 目录下生成一些 文件,其中有一个文件名为:my-medium.cnf 将其拷贝到/etc/my.cnf中 # cp /usr/share/mysql/my-medium.cnf /etc/my.cnf 现在就安装完了,可以看看他运行的进程: # ps -ef | grep mysql 三、安装MySQL客户端: # rpm -ivh /software/mysql/MySQL-client-5.1.62-1.glibc23.i386.rpm 现在就安装客户端成功了,可以看看关于MySQL一些文件: # ls /usr/bin/mysql* 四、登录mysql: 刚开始装上mysql时是没有密码的,输入: # mysql 就可登录到mysql数据库上了。 五、设置MySQL密码: # mysqladmin -u root password 123456 这样就将mysql中用户名为root密码设为123456 六、登录设置有密码的mysql: 命令和dos下登录mysql是一样的: # mysql -uroot -p123456 或者 # mysql -uroot -p[回车] 再输入密码

2017-12-13

docker离线安装 linux

docker1.8 要求内核3.10起,但是redhat7.1内核是”2.6.32-431.el6.x86_64”奔溃,又不能升级内核,还不能联网。。。怎么办呢? 只好去网上下了docker1.7的rpm包手动安装吧,经过多次实验发现,1. 所需包如下: lxc-libs-1.0.9-1.el6.x86_64.rpm lua-alt-getopt-0.7.0-1.el6.noarch.rpm lua-filesystem-1.4.2-1.el6.x86_64.rpm lua-lxc-1.0.9-1.el6.x86_64.rpm lxc-1.0.9-1.el6.x86_64.rpm docker-io-1.7.1-2.el6.x86_64.rpm device-mapper-libs-1.02.117-12.el6.i686.rpm device-mapper-libs-1.02.117-12.el6.x86_64.rpm 1 2 3 4 5 6 7 8 9 好啦不要看了资源在这里下载:docker1.7.0 rpm包 直接安装device-mapper 的包会报依赖错误,解决方法就是不管他,直接忽略依赖安装。 所需执行命令如下: rpm -ivh lxc-libs-1.0.9-1.el6.x86_64.rpm rpm -ivh lua-alt-getopt-0.7.0-1.el6.noarch.rpm rpm -ivh lua-filesystem-1.4.2-1.el6.x86_64.rpm rpm -ivh lua-lxc-1.0.9-1.el6.x86_64.rpm rpm -ivh lxc-1.0.9-1.el6.x86_64.rpm rpm -ivh docker-io-1.7.1-2.el6.x86_64.rpm rpm -ivh device-mapper-libs-1.02.117-12.el6.i686.rpm --force --nodeps rpm -ivh device-mapper-libs-1.02.117-12.el6.x86_64.rpm --force --nodeps 1 2 3 4 5 6 7 8 9 10 rpm 安装完毕 后启动docker service docker start(用来生成cgroup隔离环境,好像不执行也可以。我没有测试,如果有朋友测试了麻烦给个评论。) docker -d & 1 2 然后检查是否安装成功 docker ps

2017-12-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除