赵英超的博客

背景Ambari是一个强大的大数据集群管理平台。在实际使用中，我们使用的大数据组件不会局限于官网提供的那些。如何在Ambari中集成进去其他组件呢？一、Ambari基本架构Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建服务的时候，Ambari Server 传送 Stack 和 Service 的配置文件以及 Service 生命周期的控制脚本到 Ambari Agent。Agent 拿到配置文件后，会下载安装公共源里软件包（R.

异常信息：Caused by: com.alibaba.excel.exception.ExcelAnalysisException: java.io.IOException: Zip bomb detected! The file would exceed the max. ratio of compressed file size to the size of the expanded data.This may indicate that the file is used to inflate

Spring Boot、Spring MVC 和 Spring 有什么区别？ 一 springboot启动原理及相关流程概览 二 springboot的启动类入口 三 单单是SpringBootApplication接口用到了这些注解 　　1）@Configuration注解 　　2）@ComponentScan注解 3)@EnableAutoConfiguration AutoConfigurationPackage注解： Import(AutoConfiguration...

一、Kafka集群 Kafka 使用 Zookeeper 来维护集群成员 (brokers) 的信息。每个 broker 都有一个唯一标识 broker.id，用于标识自己在集群中的身份，可以在配置文件 server.properties 中进行配置，或者由程序自动生成。下面是 Kafka brokers 集群自动创建的过程：每一个 broker 启动的时候，它会在 Zookeeper 的 /brokers/ids 路径下创建一个 临时节点，并将自己的 broker.id 写入，从而...

HBase读数据流程HBase读数据流程HBase元数据信息.HBase读操作首先从zk中找到meta表的region信息，然后meta表中的数据，meta表中存储了用户的region信息 根据要查询的namespace、表名和rowkey信息，找到对应的真正存储要查询的数据的region信息 找到这个region对应的regionServer，然后发送请求 查找对应的region 先从metastore查找数据，如果没有，再从BlockCache读取。 ...

前言特别指出：这次分享主要是希望起到抛砖引玉的作用，让大家更多的参与到云原生这个话题的讨论，希望后面有更多更好的分享。我们笨鸟先飞，起一个头。内容主要围绕这几个问题，上半场我们将围绕前三个问题。如何理解云原生？第一个话题：如何理解“云原生”？之所以将这个话题放在前面，是因为，这是对云原生概念的最基本的理解，而这会直接影响到后续的所有认知。每个人对云原生的理解都可能不同，就如莎士比亚所说：一千个人眼中有一千个哈姆雷特。我们来快速回顾...

一、特征的提取1、TF-IDF（词频-逆向文档频率） TF（词频）：HashingTF与CountVectorizer用于生成词频TF向量。HashingTF是一个特征词集的转换器（Transformer），它可以将这些集合转换成固定长度的特征向量。HashingTF利用hashingtrick，原始特征通过应用哈希函数映射到索引中。然后根据映射的索引计算词频。这种方法避免了计算全局特征词对索引映射的需要，这对于大型语料库来说可能是昂贵的，但是它具有潜在的哈希冲突，其中不同的原始特征可...

Spark机器学习库(MLlib)指南 MLlib是Spark里的机器学习库。它的目标是使实用的机器学习算法可扩展并容易使用。它提供如下工具： 1.机器学习算法：常规机器学习算法包括分类、回归、聚类和协同过滤。 2.特征工程：特征提取、特征转换、特征选择以及降维。 3.管道：构造、评估和调整的管道的工具。 4.存储：保存和加载算法、模型及管道 5.实用工具：线性代数，统计，数据处理等。 ＊注意：主...

▍前言关于程序员接私活，社会各界说法不一。按照作者的观点来说如果你确实急用钱，价格又合适，那就去做。如果不怎么缺钱，那就接私活之前要好好考虑。私活的钱不好挣是一个方面，更重要的是如果你把做私活的时间花在提升自己上，产生的价值就要大得多。等你提升了自己，提升了固定薪水，远比拿的这点私活的钱划算。千万不要“捡了芝麻丢了西瓜”。如果你主业上遇到了瓶颈，平时的时间比较充分，想有一些额外的收入，同时为了保持技术的熟练度，这种情况下，是可以考虑接一些私活的。对于那种投入时间巨大，回报很可怜的项目，千万不要接。.

JMH简介JMH即Java Microbenchmark Harness，是Java用来做基准测试的一个工具，该工具由OpenJDK提供并维护，测试结果可信度高。基准测试Benchmark是测量、评估软件性能指标的一种测试，对某个特定目标场景的某项性能指标进行定量的和可对比的测试。项目中添加依赖创建一个基准测试项目，在项目中引入JMH的jar包，目前JMH的最新版本为1.23。以maven为例，依赖配置如下。<dependencies> <dependency

一、StringIndexer在使用Spark MLlib协同过滤ALS API的时候发现Rating的三个参数：用户id，商品名称，商品打分，前两个都需要是Int值。那么问题来了，当你的用户id，商品名称是String类型的情况下，我们必须寻找一个方法可以将海量String映射为数字类型。好在Spark MLlib可以answer这一切。StringIndexer将一列字符串标签编码成一列下标标签，下标范围在[0,标签数量)，顺序是标签的出现频率。所以最经常出现的标签获得的下标就是0。如果输入..

逆向工具集合Awesome-HackingJava & Jar (Android) jd-guijar包浏览工具,对应的IDE插件，JD-Eclipse/JD-IntelliJ LuytenAn Open Source Java Decompiler Gui for Procyon jadx-gui直接反编译apk Apktoolapk的反编译,编译工具(smali格式) dex2jardex转为jar工具 AXMLPrinte...

1 机器学习概念1.1 机器学习的定义在维基百科上对机器学习提出以下几种定义：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 “机器学习是对能通过经验自动改进的计算机算法的研究”。 “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class

1、安装：linux系统中已安装有python环境，安装bypy库和requests库安装方法如下：pip install requests -i https://pypi.doubanio.com/simplepip install bypy -i https://pypi.doubanio.com/simple2、授权首先把数据上传到百度网盘，打开浏览器，登陆百度网盘，保持此页面。回到linux系统，输入 bypy info得到一个链接，复制到浏览..

简介项目地址：https://github.com/pinpoint-apm/pinpointPinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具，用于基于java的大规模分布式系统，基于Google Dapper论文。仿照 Google Dapper , Pinpoint 通过跟踪分布式应用之间的调用来提供解决方案， 以帮助分析系统的总体结构和内部模块之间如何相互联系。如今的服务通常由很多不同模块组成，前端向后台.

数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。在使用1eft jion时，on和where条件的区别如下：1、on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2、where 条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必须返回左边表的记录）了，条件不为真的就全部过滤掉。假设有两张表：两条 SQL：selectform tabl left join tab

在使用Maven多模块结构工程时，配置版本是一个比较头疼的事。继承版本，依赖版本，自身版本，都需要单独定义，很是麻烦。版本号变更使用mvn versions:set，有时候也可能导致版本号不一致、不便于统一管理：mvn versions:set但其实Maven已经提供了这种CI版本的管理方式，下面来介绍具体用法。从Maven 3.5.0-beta-1版本开始，就可以使用${revision},${sha1}和${changelist}作为占位符来替换pom文件了。注意：Id...

一、状态机有限状态机是一种用来进行对象行为建模的工具，其作用主要是描述对象在它的生命周期内所经历的状态序列，以及如何响应来自外界的各种事件。在电商场景（订单、物流、售后）、社交（IM消息投递）、分布式集群管理（分布式计算平台任务编排）等场景都有大规模的使用。状态机的要素：状态机可归纳为4个要素，现态、条件、动作、次态。“现态”和“条件”是因，“动作”和“次态”是果。1 现态：指当前所处的状态2 条件：又称“事件”，当一个条件被满足，将会触发一个动作，或者执行一次状态的迁移3 动作：条件

描述Gephi 是一款网络分析领域的数据可视化处理软件，开发者对它寄予的希望是：成为 “数据可视化领域的Photoshop” ，可运行在Windows，Linux及Mac os系统。项目地址：https://github.com/gephi/gephihttps://github.com/gephi/gephi-plugins特点 快速由内置的OpenGL引擎提供支持，Gephi能够利用非常大的网络推送信封。可视化网络多达一百万个元素。 所有操作（例如布局，过滤器，拖动）都会实

启动报错：Error running 'CmsFrontApplication': Command line is too long. Shorten command line for CmsFrontApplication or also for Spring Boot default configuration.解决办法原因分析出现此问题的直接原因是：IDEA集成开发环境运行你的“源码”的时候（注意是源码基础上运行，并非打好的jar包哦），是通过命令（首行那个非常非常长.

What is ARES?Open source dynamic configuration center with easy deployment and high stabilityAres系统是基于Java语言开发的，部署简单且高稳定性的动态配置系统.让您可以集中化、动态化管理自己应用中的配置.允许您的应用以监听和拉取结合的方式快速变更运行时的应用配置具有丰富的配置管理UI简化操作，同时也保障数据的隔离性与灵活性AboutAres系统目前在橙鹰公司内部使用，并稳定的

概述ElasticAmbari为Ambari的一组自定义服务，为Elastic的产品提供安装和管理的支持。项目地址：https://github.com/ChengYingOpenSource/ElasticAmbari开源不易，我们会持续维护和优化，惊喜不断请大家点赞收藏！特性支持Elastic全产品系列 支持Elastic各产品的各个版本，不要求特定版本许可证ElasticAmbari代码库基于Apache License 2.0许可证开放使用。欢迎参与.

网络篇pingping -c 3 -q -s 65500 -t 255 -i 0.1 -f www.baidu.com  -c:指定ping的次数 -q:只重结果不重过程 -s: 默认情况下，ping命令是以64字节大小的数据包来测试网络联通性的，如需要改变默认数据包的大小，则可以使用参数-s选项。 -t: 指定ping的TTL -i: 指定ping的时间间隔 -f...

1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图处理，而并非单机处理。Spark Gr...

原文出处： 不会停的蜗牛   通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。以后有时间再对单个算法做深入地解析。今天的算法如下：决策树随机森林算法逻辑回归SVM朴素贝叶斯K最近邻算法K均值

win10 C盘根目录无法创建文件，点击右键菜单时只有：新建 > 文件夹。解决方法：以管理员身份运行命令行工具，输入icacls c:\ /setintegritylevel M等待命令执行完成。如果还是不能创建文件的话，右键点击C盘：属性 > 安全，把写权限赋予Users组（ 如果弹出错误提示不用理会，点击：继续即可 ）。====================================================================..

(1) 遇到锁表快速解决办法　　依次执行1-6步，运行第6步生成的语句即可。　　如果特别着急，运行 1 2 6 步 以及第6步生成的kill语句 即可。1.　第1步　查看表是否在使用。show open tables where in_use > 0 ;如果查询结果为空。则证明表没有在使用。结束。 mysql> show open tables where in_use > 0 ;Empty set (0.00 sec) 如果查..

说明:PageHelper.startPage(pageNum,pageSize);只对该语句以后的第一个查询语句得到的数据进行分页。springboot坏境 <dependency> <groupId>com.github.pagehelper</groupId> <artifactId>pagehelper</artifactId> <v

mysql的group_concat函数，默认最大长度是1024详细说明如下：用了group_concat后，select里如果使用了limit是不起作用的.用group_concat连接字段的时候是有长度限制的，并不是有多少连多少。查看sql：show variables like 'group_concat_max_len'; mysql> show variables like 'group_concat_max_len'; +------------.

大多时候时候使用的是Apache或Spring``BeanUtils，今天，我们来看一下一个更高效的属性拷贝方式：BeanCopier。https://github.com/cglib/cglibhttps://github.com/cglib/cglib/blob/master/cglib/src/main/java/net/sf/cglib/beans/BeanCopier.java首先梳理出来现在有哪些对象拷贝的方式：Apache的BeanUtils：BeanUtils是Apach.

直接传参法直接传参法，就是将要查询的关键字keyword,在代码中拼接好要查询的格式，如%keyword%,然后直接作为参数传入mapper.xml的映射文件中。public void selectBykeyWord(String keyword) {String id = "%" + keyword + "%";String roleType = "%" + keyword + "%";String roleName = "%" + keyword + "%";...

什么是SQL注入，怎么防止SQL注入？　所谓SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。怎么防止SQL注入，使用存储过程来执行所有的查询；检查用户输入的合法性；将用户的登录名、密码等数据加密保存。目前在对数据.

makefile的规则组成target prerequisites command target这一个或多个的目标文件依赖于prerequisites中的文件，其生成规则定义在command中。说白一点就是说，prerequisites中如果有一个以上的文件比target文件要新的话，command所定义的命令就会被执行。这就是Makefile的规则。也就是Makefile中最核心的内容文件名“GNUmakefile”或“Makefile”或“makefile”的文件(也可以通过make

对于在 Linux 的下载工具而言，比较常用的就是 wget 或者 curl，吾也一直用 wget 的方式进行网络上的资源下载。偶然发现了 axel 这个支持多线程的下载工具，试用了几次之后，发现网络文件的下载速度提交了很多，决定将常用的下载工具替换为 axel。1 安装1、Linux 安装CentOS 中安装 axel，axel 系统不自带，且 Yum 源也没有 axel 的包，需要从网络中下载。可以在https://centos.pkgs.org/，搜索找到并下载安装。$ w...

强大的es提供了这样的操作：别名操作。让你多个的index可以只用一个index查询。常用操作添加别名curl -XPOST 'http://localhost:9200/_aliases' -d { "actions": [ {"add": {"index": "test1", "alias": "alias1"}} ]}删除别名curl -XPOST 'http://localhost:9200/_aliases' -d { "actio

问题1：票证实体public class Ticket { private long id; private String title; private Set<Comment> comments; // Getters and setters}票证DTO（父类）public class TicketDTO { private long id; private String title; // Getters and setters}.

　　今天的主题是大数据用户画像的方法及营销实践。　　大数据已经上升为国家战略，大数据和用户画像是一个什么关系？我们先讲述一下数据在发展过程中地位的转变。早期的时候，基本上IT系统的构都是为业务服务，在服务过程中积累了数据，然后我们的BI分析团队对这些数据进行分析。但是到了DT时代，大数据时代，数据地位发生根本性的转变，数据本身就是一个现实世界的虚拟化表现，数据已经构成了一个虚拟世界，IT系统是构建虚拟系统之上更加智能，数据在DT时代更加重要。　　大家都听说过大数据四个V，大数据应该说..

Davinci介绍：Davinci是一个DVAAS（Data Visualization as a Service）平台解决方案。Davinci面向业务人员/数据工程师/数据分析师/数据科学家，致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。Davinci源码大概分为三部分：采用React的前端工程 采用Spring Boo.

Edge启动后什么网站都打不开，错误代码：STATUS_INVALID_IMAGE_HASH百度了一下解决方案。导致这个问题的原因是 Google 在79版本（2019年12月20号左右）的更新中又重新启用了Renderer Code Integrity Protection（渲染器代码完整性保护），会阻止签名不是谷歌和微软的模块加载浏览器。Microsoft Edge 和 Google Chrome 都是基于 Chromium 开发的，Edge的处理方法和Chrome一致。Google

mysql的数据库引擎中的InnoDb下的行锁、表锁、意向锁等行锁mysql的行锁是通过索引加载的，即是行锁是加在索引响应的行上的，要是对应的SQL语句没有走索引，则会全表扫描行锁类型共享锁 和 排它锁共享锁（S锁）也叫读锁。当一个事务对某几行上读锁时，允许其他事务对这几行进行读操作，但不允许其进行写操作，也不允许其他事务给这几行上排它锁，但允许上读锁。SELECT column FROM table ... LOCK IN SHARE MODE;排它锁（X锁）

6.4.1版本下载地址：https://release.axocdn.com/win64/GitKrakenSetup-6.4.1.exe第一步：修改host加入127.0.0.1 release.gitkraken.com api.gitkraken.com第二步安装打开其他版本：安装6.6.0，然后找到安装目录，把update.exe删除就行C:\Users\admin\AppData\Local\gitkraken\app-6.6.0...

什么是布隆过滤器？它实际上是一个很长的二进制向量和一系列随机映射函数。把一个目标元素通过多个hash函数的计算，将多个随机计算出的结果映射到二进制向量的位中，依次来间接标记一个元素是否存在于一个集合中。布隆过滤器可以做什么？布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。布隆过滤器特点如果布隆过滤器显示一个...

1. 前言从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。知识图谱（ Knowledge Graph）的概念由谷歌2012年正式提出，旨在...

1. Jadxjadx是个反编译神器，集apktool、jd功能于一身，能直接查看apk，dex，jar文件。目前还不支持查看aar文件。如果要查看aar文件的话，可以先重命名为zip文件，再解压查看。下面介绍下如何使用jadx将编译后的class文件转换为java源码文件： 把class文件所属的jar包通过jadx方式打开 点击菜单中的File -...

postman中几种传参方式区别：1.form-dataform-data主要是以键值对的形式来上传参数，同时参数之间以&分隔符分开，同时也可以上传文件，文件上传要指定文件类型,具体可以看下面的图。2.x-www-form-urlencode这种参数的传递与form-data最大的区别是，x-www-form-urlencode只能是以键值对的形式传参，不能上传文件。...

无论使用何种编程语言，json格式的数据已被广泛应用，不论是数据的传输还是存储，在很多应用场景下，你可能想进一步地压缩JSON字符串的长度，以提升传输效率，如果你使用的是nosql数据库，你可能想进一步的压缩json字符串的长度来节省你的存储空间，接下来，我将介绍一下目前最常用的json数据压缩技术（CJSON和HPack）的实现。一、CJSONCJSON 的压缩算法, 主要是将资料抽离成...

1 背景Kubernetes 本来是一个用来管理无状态应用的容器平台，但是在近两年，有越来越多的公司用它来运行各种各样的工作负载，尤其是机器学习炼丹。各种 AI 公司或者互联网公司的 AI 部门都会尝试在 Kubernetes 上运行 TensorFlow，Caffe，MXNet 等等分布式学习的任务，这为 Kubernetes 带来了新的挑战。首先，分布式的机器学习任务一般会涉及参数服务...

Terms Aggregation先看看官方给出的例子。GET /_search{ "aggs" : { "genres" : { "terms" : { "field" : "genre" } } }}响应结果：{ ... "aggregations" : { "ge...

1.单字段情况下聚合假设只需要对一个字段聚合，比如b字段，b字段是keyword类型，需要考虑的情况最为简单，当要对b字段聚合时语句很好写，如下即可{ "from": 0, "size": 0, "query": { "bool": { "must": [{ "bool": { ...

事物注解方式: @Transactional当标于类前时, 标示类中所有方法都进行事物处理,例子:1 @Transactional public class TestServiceBean implements TestService {}当类中某些方法不需要事物时: 1 @Transactional 2 public class TestServiceBean i...

一.作用和使用场景在mysql入库时，不能出现两条数据主键一致的情况，因为在两条数据的主键一致的情况下，mysql就会判定为待插入数据在数据库中存在重复数据，也就是说判断数据是否重复是根据主键来区别的。但是有一些场景，如日志文件解析入库，消息队列接收数据入库等情况下可能解析到或者接收到待插入的重复数据存在重复数据则更新，不存在则插入。这时如下语句的写法就派上用场了，on dupli...

java面试宝典2019参照：http://www.wityx.com/3.html1、meta标签的作用是什么2、ReenTrantLock可重入锁（和synchronized的区别）总结3、Spring中的自动装配有哪些限制？4、什么是可变参数？5、什么是领域模型(domain model)？贫血模型(anaemic domain model)和充血模型(rich...

EventBus 是Google.Guava提供的消息发布-订阅类库，它实现了观察者设计模式，消息通知负责人通过EventBus去注册/注销观察者，最后由消息通知负责人给观察者发布消息。前提：在pom.xml中引入guava包<!-- https://mvnrepository.com/artifact/com.google.guava/guava --> ...

ApplicationEvent以及Listener是Spring为我们提供的一个事件监听、订阅的实现，内部实现原理是观察者设计模式，设计初衷也是为了系统业务逻辑之间的解耦，提高可扩展性以及可维护性。通过 ApplicationEvent 类和 ApplicationListener 接口来提供在 ApplicationContext 中处理事件。如果一个 bean 实现 Applicatio...

简介Jupyter Notebook是个开源的Web应用，可以创建包含代码、公式、可视化及叙事文本的共享文档；支持超过40种编程语言 可共享的notebook 交互式的输出 集成大数据工具修改Jupyter Notebook的默认工作目录 首先需要生成配置文件： 打开命令行，输入 jupyter notebook --generate-config 可以生...

一. 什么是独热编码？————————————————————————————————————————在机器学习算法中，我们经常会遇到分类特征，例如：人的性别有男女，祖国有中国，美国，法国等。这些特征值并不是连续的，而是离散的，无序的。通常我们需要对其进行特征数字化。那什么是特征数字化呢？例子如下： 性别特征：["男"，"女"] 祖国特征：["中国"，"美国，"法国"...

独热编码独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图：我们的feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。feature_2 和feature_3各有4种取值...

出处:http://blog.csdn.net/itplus/article/details/37969519推荐相关文章：https://blog.csdn.net/lanyu_01/article/details/80097350https://zhuanlan.zhihu.com/p/26306795http://www.5...

一般操作：-----hbase(main)> statushbase(main)> version创建命名空间： namespace指的是一个 表的逻辑分组 ，同一组中的表有类似的用途，相当于关系型数据库中的database。hbase(main):060:0> create_namespace 'test1'drop_namespace 创建该命名空...

命令行设置R更新源创建文件 R.home()/etc/Rprofile.site设置更新源 local({r <- getOption("repos") r["CRAN"] <- "http://mirrors.aliyun.com/CRAN/" r["CRANextra"] <- "http://mirrors.aliyun.com/...

具体操作如下：step1：首先在菜单中，以管理员的身份启动 Anaconda Prompt，如图1所示；step2：升级conda(升级Anaconda前需要先升级conda)命令为：conda update condastep3：升级anconda命令为：conda update anacondastep4：升级python命令为：conda updat...

AUC & ROCAUC是一个模型评价指标，只能用于二分类模型的评价，对于二分类模型，还有损失函数（logloss），正确率（accuracy），准确率（precision），但相比之下AUC和logloss要比accuracy和precision用的多，原因是因为很多的机器学习模型计算结果都是概率的形式，那么对于概率而言，我们就需要去设定一个阈值来判定分类，那么这个阈值的设定就会对我...

官网：https://projectreactor.io/教程：https://projectreactor.io/docs/core/release/reference/#about-docReactor的类型Reactor有两种类型，Flux<T>和Mono<T>。Flux类似RaxJava的Observable，它可以触发零到多个事件，并根据实际情况结束...

lombok使用总结前提这篇文章主要介绍lombok的使用，至于lombok的源码和原理暂不探究，可以看上一篇文章插件化注解处理API去了解lombok的基本原理。参考资料：lombok官网 lombok官方教程-lombok所有特性简介Project Lombok是一个java库，它可以自动插入到编辑器中，并构建工具，使java更加丰富。再也不用getter或equals方法...

sql 例如:select * from user t where t.count = t.num;es 查询语句如下:{ "query": { "bool": { "must": { "script": { "script": { "source": "doc['fieldA'].value >...

Java8为容器新增一些有用的方法，这些方法有些是为完善原有功能，有些是为引入函数式编程（Lambda表达式），学习和使用这些方法有助于我们写出更加简洁有效的代码．本文分别以ArrayList和HashMap为例，讲解Java8集合框架（Java Collections Framework）中新加入方法的使用．定义对象：public class Apple { private I...

1. IDEA 自动生成对于类中的注释，我们可以通过IDEA自动生成。如IDEA 可以通过：File->Settings->Editor->File and Code Templates->Includes->File Header来设置模板，这样新建文件时，IDEA会按照设置的模板，会自动生成一个注释。其中标签有:${USER} : 当前用户。...

破解过程大致如下// 反编译插件// 修改注册逻辑代码// 字节码写入// 重新打包// 替换jar包破解方法下载官方插件 将安装好的插件jar拷贝到桌面Mac插件保存目录：/Users/username/Library/Application Support/WebStorm2017.2/Iedis/lib/通过反射和javassist将混淆的字符串还原。 最...

1、plugins -> browse reposi -> manage reposi -> 点击绿色+号2、输入http://ide.alibaba-inc.com/idea/plugins/list3、category -> alibabaPlugins -> Ali-CodeAnalysis ->install本地安装：下...

SNAPSHOT->alpha->beta->release->GA-------------------------------------------------------------------------------------------------------------------------------Alpha：是内部测试版,一般不向外部发布,会...

版本下载地址：https://docs.cloudera.com/HDPDocuments/新版本下载需要认证：github:https://github.com/apache/ambari官方安装服务https://github.com/hortonworks/hdp_ambari_definitions-releaseapi:https://github...

原文链接：https://yq.aliyun.com/articles/659407官方英文原版：https://docs.oracle.com/en/java/javase/11/migrate/index.html#JSMIG-GUID-C25E2B1D-6C24-4403-8540-CFEA875B994AJava平台，标准版Oracle JDK迁移指南第11版E...

1、修改POM文件2、修改maven设置3、修改Project Structure-Modules5、修改tomcat配置（不修改可能报错：war: Error during artifact deployment）

文件准备文件 说明 p3c-formatter 模板文件 EclipseFormatter.zip idea插件 阿里巴巴Java开发手册（详尽版）.pdf 代码规范手册 官方文件：推荐阿里代码规范格式化模板文件下载地址：https://github.com/alibaba/p3c/tree/master/p3c-formatter 唯品会通用...

1、创建对象的5种方式　　①、通过 new 关键字　　这是最常用的一种方式，通过 new 关键字调用类的有参或无参构造方法来创建对象。比如 Object obj = new Object();　　②、通过 Class 类的 newInstance() 方法　　这种默认是调用类的无参构造方法创建对象。比如Person p2 = (Person) Class.forName("com...

Excel工具包首推：easypoi（功能非常强大，挺好用）POI 工具类Excel的快速导入导出Excel模板导出Word模板导出CSV导入处理Excel&Html互转PDF处理可以仅仅5行代码就可以完成Excel的导入导出,修改导出格式简单粗暴,快速有效。项目地址：https://gitee.com/lemur/easypoi使用教程...

Fastjson介绍https://github.com/alibaba/fastjsonFastjson是一个Java语言编写的JSON处理器,由阿里巴巴公司开发。1、遵循http://json.org标准，为其官方网站收录的参考实现之一。2、功能qiang打，支持JDK的各种类型，包括基本的JavaBean、Collection、Map、Date、Enum、泛型。3、无依赖，不...

1、集群存储资源高水位 异常Caused by: org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/12/index read-only / allow delete (a...

elasticsearch 根据id删除允许从基于其id的特定索引中删除一个JSON文档，下面的示例从twitter中删除类型为_doc的JSON文档，其id为1:DELETE /index/_doc/1上述删除操作的结果为:{ "_shards" : { "total" : 2, "failed" : 0, "su...

在Python中引用是非常简单的事情，这里需要清楚三个概念就可以了包、模块、类。模块对应的是一个.py文件，那么module_name就是这个文件去掉.py之后的文件名，py文件中可以直接定义一些变量、函数、类。那么包我们可以看作一个包含__init__.py和一系列.py文件的文件夹，这样做的目的是为了区别包和普通字符串。importmodule_namefro...

一、ES Python脚本查询操作 http方式#!coding:utf-8import jsonimport loggingimport timeimport requestsPAGE_RESULT_SCROLL_ID = 'scroll_id'PAGE_RESULT_SCROLL_SIZE = 'scroll_size'PAGE_RESULT_TOTAL_SIZE ...

修改注册表的方法，找回右键菜单中的新建EXCEL，步骤如下：1、点击【开始】，找到【运行】命令行。2、输入regedit，打开注册表。regedit3、在左侧找到HKEY_CLASSES_ROOT目录，并展开。HKEY_CLASSES_ROOT4、进入注册表寻找【xlsx】的位置，然后双击。5、将右侧第一项（默认）值改为...

java redis存储键值包含\xac\xed\x00\x05t\x00\特殊字符javaRedisTemplate操作redis后，想看一下是否成功，就redis-cli执行：keys *1)"\xac\xed\x00\x05t\x00\x04name"2)"a"3)"siteName"4)"\xac\xed\x00\x05t\x00\bsiteName"5)...

一般的xhr请求 let url = window.URL || window.webkitURL; let xhr = new XMLHttpRequest(); xhr.open(method, url, [,async=true,]); xhr.ontimeout = ()=>{}; xhr.onreadystatechange=()=>...

EXCEL必备工具箱：EXCEL必备工具箱是一个同时支持EXCEL/WPS插件，自带免费多标签（类似于OfficeTab），安装后就可以使用，与excel/wps完全溶为一体，绝大部分操作执行后可撤销。完美支持32位/64位OFFICE，以及2014年11月抢先版及更高版本的WPS!EXCEL必备工具箱智能识别当前是32/64位的EXCEL还是WPS，自动屏蔽WPS已有功能，额外增...

前言当索引一个文档的时候，文档会被存储到一个主分片中。那么，elasticsearch如何知道一个文档应该存放到哪个分片中呢？首先这肯定不是随机的，否则在检索文档时就不知道该从哪去寻找它了。实际上这个过程是根据下面公式决定的：shard = hash(routing) % number_of_primary_shardsrouting是一个可变值，默认是文档的_i...

一、调整副本数如调整副本数为0curl -XPUT 'node3:9205/test_index/_settings' -d '{ "index": { "number_of_replicas": "0" }}'返回{"acknowledged":true}二、调整索引分片索引分片数在索引创建好了之后就不能调整了，只能重建索引...

public static void main(String[] args) { String jsonStr = "{\"size\":\"7.5\",\"width\":\"M (B)\"}"; System.out.println("无序遍历结果："); JSONObject jsonObj = JSON.parseObject(jsonS...

0、背景在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索...

身份证号分为两种，旧的为15位，新的为18位。身份证15位编码规则：dddddd yymmdd xx p其中 dddddd：地区码 yymmdd: 出生年月日 xx: 顺序类编码，无法确定 p: 性别，奇数为男，偶数为女；身份证18位编码规则：dddddd yyyymmdd xxx y其中 dddddd：地区码 yyyymmdd: 出生年月日...

span_term查询这个查询如果单独使用，效果跟term查询差不多，但是一般还是用于其他的span查询的子查询。用法也很简单，只需要指定查询的字段即可：{ "span_term" : { "user" : "kimchy" }}另外，还可以指定查询出的分值倍数：{ "span_term" : { "user" : { "value" : "kimchy", "boo...

一、校验数字的表达式1. 数字：^[0-9]*$2. n位的数字：^\d{n}$3. 至少n位的数字：^\d{n,}$4. m-n位的数字：^\d{m,n}$5. 零和非零开头的数字：^(0|[1-9][0-9]*)$6. 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$7. 带1-2位小数的正数或负数：^(\-)?\d...

博主 简介 stpeace 排名：1 原创：2166 粉丝：7180 积分：181660 等级：10 stpeace的专栏 中国 本博客供大家交流，欢迎各抒己见。博文中的内容禁止用 yuanmeng001 排名：2 原创：52...

1、题记工欲善其事必先利其器，ELK Stack的学习和实战更是如此，特将工作中用到的“高效”工具分享给大家。希望能借助“工具”提高开发、运维效率！2、工具分类概览2.1 基础类工具1、Head插件1）功能概述：ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查操作）比较实用的地方：json串的格式化2）地址：http://mobz.github...

安装 WSL1. 启用或关闭Windows功能首先在搜索栏中搜索并打开“启用或关闭Windows功能”，勾选“适用于Linux的Windows子系统”项。只有开启这项设置才能正常安装WSL。2. 安装 WSL在微软应用商店搜索 Linux，可以看到一系列 Linux 发行版，根据自己需要选择适合自己的发行版，这里我选用 Ubuntu 18.04 LTS，下载完成后启动，等待安装完成...

前提准备安装kibana-6.7.0: 《Elasticsearch-6.7.0系列（三）5601端口 kibana——ES的UI界面》升级前ES的license升级之前访问：http://192.168.10.110:9200/_xpack 其中security一项内容如下：security description "Security for the ...

一、Navicat Premium 12下载Navicat Premium 12是一套数据库开发管理工具，支持连接 MySQL、Oracle等多种数据库，可以快速轻松地创建、管理和维护数据库。Navicat Premium 12简体中文官方下载：下载安装包下载：Navicat Premium 12安装包及用户指南二、Navicat Premium 12安装双击...

　YRAN提供了三种调度策略一、FIFO-先进先出调度器　　　　YRAN默认情况下使用的是该调度器，即所有的应用程序都是按照提交的顺序来执行的，这些应用程序都放在一个队列中，只有在前面的一个任务执行完成之后，才可以执行后面的任务，依次执行　　　　缺点：如果有某个任务执行时间较长的话，后面的任务都要处于等待状态，这样的话会造成资源的使用率不高；如果是多人共享集群资源的话，缺点更是明显...

简介Privoxy 是一个 代理软件简单说，就是进出你电脑的流量守门人。借由 Privoxy，我们可以控制出去的请求，还可以改写返回的响应。不必要的请求 – 比如视频广告的地址、图片广告的地址，我们可以直接block掉；不必要的响应内容 – 比如页面中的文字广告，我们可以借由filter过滤掉，不让它们在浏览器页面上显示。使用Privoxy 将socks5代理转成http代理...

批量导入工具：https://github.com/dengziming/janusgraph-util批量导入配置项storage.batch-loading =true 导入的数据必须具有一致性并且和已存在的数据必须具有一致性。（比如：name数据是具有唯一索引（a unique composite index），那么导入的数据在name属性上上和已有的数据不能重复） ...