wudaoshihun的博客

SpringCloud gateway已经出来很长时间，现在正好要做一个动态网关，落个笔录备忘。现在微博上很多网关在项目上的使用性比较差，本文会给出一个完整的方案及中间版本。目录网关核心功能SpringCloud gatewayGateway包含哪些功能呢Gateway的工作方式PredicateFilter如何动态加载路由首先看如何加载的加载顺序网关核...

目录1|0生活中的数据2|0先说说Lucene3|0核心概念3|1集群（Cluster）发现机制节点的角色脑裂现象3|2分片（Shards）3|3副本（Replicas）3|4映射（Mapping）4|0基本使用4|1安装使用4|2集群健康状态5|0机制原理5|1写索引原理5|2存储原理分段存储延迟写策略段合并6|0性...

多仓库镜像设置<mirrors> <mirror> <id>nexus-aliyun</id> <!--<mirrorOf>*</mirrorOf> --> <mirrorOf>*,!central<...

1. 下载cd /usr/local/toolswget https://jaist.dl.sourceforge.net/project/openofficeorg.mirror/4.1.7/binaries/zh-CN/Apache_OpenOffice_4.1.7_Linux_x86-64_install-rpm_zh-CN.tar.gz2. 解压安装tar xf Apach...

目录​​​​​​​​​​​​​​概述介绍Euraka基本配置Eureka-server配置参数基本参数​​​​​​​Response cache参数​​​​​​​peer相关参数​​​​​​​http参数基本参数​​​​​​​instance参数​​​​​​​http参数​​​​​​​其他参数问题及分析单机器多个实例配置问题个主机上启...

目录概述1. 手动下载并安装redis cluster1.1下载1.2 启动1.3创建集群故障1.3.2 重新创建集群1.4 验证正确性2. Redis.conf配置3.环境变量配置4. 免密ssh4.1 Linux下生成密钥4.2 3台机器公钥配置​​​​​​​4.3Linux免密设置流程​​​​​​​5.设置公钥访问（不用设置）...

现在说到微服务，IT界已经耳熟能详；我现在看到一个现象，这些项目该不该用微服务，或者根本不知道怎么使用的情况下，生搬硬套也要使用，最后不仅开发时间增加、维护费用增加、设备使用增加，带来的效果微乎其微。 我接手的已经完成的微服务项目也有10多个，能接受的也就2、3个项目而已；最次的是数据不分离，数据映射层耦合，各种表联查，微服务之间相互调用，调用链乱成一团。 稍微好些的是数...

之前同步了Python3.6 搜狗微信公众号抓爬，但搜狗设置了微信公众号文章反抓爬机制，限制太死，而且没有太多时间研究他的反抓爬破解，只能换抓爬渠道了，所以写了一个微小宝抓爬微信公众号文章。还是利用原有的Python工程，详情请看https://blog.csdn.net/wudaoshihun/article/details/83552027微小宝公众号文章抓爬采用selenium技术，所以...

java.util.concurrent（J.U.C）大大提高了并发性能，AQS 被认为是 J.U.C 的核心。CountdownLatch用来控制一个线程等待多个线程。维护了一个计数器 cnt，每次调用 countDown() 方法会让计数器的值减 1，减到 0 的时候，那些因为调用 await() 方法而在等待的线程就会被唤醒。原理就是await时加共享锁，countDown时...

内存存储RAMJobStoreQuartz默认使用RAMJobStore，它的优点是速度。因为所有的 Scheduler 信息都保存在计算机内存中，访问这些数据随着电脑而变快。而无须访问数据库或IO等操作，但它的缺点是将 Job 和 Trigger 信息存储在内存中的。因而我们每次重启程序，Scheduler 的状态，包括 Job 和 Trigger 信息都丢失了。Quartz 的内存 Jo...

安装 MySQL 后，需要调整的 10 个性能配置项注意：这篇博文的更新版本在这儿，MySQL 5.7 适用！原文：Ten MySQL performance tuning settings after installation在本文中，我们将探讨在安装好 MySQL 之后，可以进行调整的影响性能的前 10 个配置选项。当我们作为一名 MySQL 性能审计人员被录用时，他们（公...

本来使用3个节点部署fastdfs,其中1个tracker,2个storage(2个group）如果使用6个节点，2个tracker,4个storage(2个group）其中group中2个节点互为主备。目录以下可以使用SCRT的同时操作一、环境准备1. 安装开发编译环境,直接安装组内所有软件2. 并不需要这么多组件，浪费资源，可以分步安装二. 安装fastdf...

前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问...

前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行...

在对接一个投资项目时，启动项目出现如下错误，本来想直接问对接人，但他们没有出现这种情况，只能看一下。由下面异常可以看出，Redis security建议禁用CONFIG命令，以便远程用户无法重新配置实例。RedisHttpSessionConfiguration需要在初始化期间访问它。托管的Redis服务，在默认情况下禁用此命令，并且没有重新启用该命令的选项。而且spring-sess...

键空间通知（keyspace notification）本文档翻译自： http://redis.io/topics/notifications 。键空间通知功能目前仍在开发中，这个文档所描述的内容，以及功能的具体实现，可能会在未来数周内改变，敬请知悉。功能概览键空间通知使得客户端可以通过订阅频道或模式， 来接收那些以某种方式改动了 Redis 数据集的事件。以下是一些键空间通...

好久没有配置过jdk环境，基本都忘了，现在安装记录下1. 查案是否自带JDK    rpm -qa | grep java2. 如果自带JDK，删除    #rpm -e --nodeps &lt;java进行&gt;    如： rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64           r...

@Target@Target 说明了Annotation所修饰的对象范围取值(ElementType)有：　　　　1.CONSTRUCTOR:用于描述构造器　2.FIELD:用于描述域　　　　3.LOCAL_VARIABLE:用于描述局部变量4.METHOD:用于描述方法5.PACKAGE:用于描述包6.PARAMETER:用于描述参数7.TYPE:用于描述类、接口(包括注解类...

本文就不对activiti做解释，下面直接看项目集成以下顺序方面根据我的理解来，可以先从第二章看，再看第一张与第三章增加activiti表的API，备注用。目录一、springboot2.X集成activiti1.1. 引入jar包1.2. 创建启动类（componentScan是自己项目持久化模板，可以直接删掉）1.3. 配置application.yml1.4....

本文就不对activiti做解释，下面直接看项目集成以下顺序方面根据我的理解来，可以先从第二章看，再看第一张与第三章增加activiti表的API，备注用。目录一、springboot2.X集成activiti1.1. 引入jar包1.2. 创建启动类（componentScan是自己项目持久化模板，可以直接删掉）1.3. 配置application.yml1.4....

jBPM是目前市场上主流开源工作引擎之一，在创建者Tom Baeyens离开JBoss后，jBPM的下一个版本jBPM5完全放弃了jBPM4的基础代码，基于Drools Flow重头来过，目前官网已经推出了jBPM6的beta版本；Tom Baeyens加入Alfresco后很快推出了新的基于jBPM4的开源工作流系统Activiti。由此可以推测JBoss内部对jBPM未来版本的架构实现产生了严...

表达式全集字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“
”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“
”或“\r”之后的位置。 $ 匹配输入字符串的结束位置...

要想弄清楚rpc与http,首先得了解一下OSI的七层网络结构模型OSI网络结构的七层模型各层的具体描述如下：　　第七层：应用层     定义了用于在网络中进行通信和数据传输的接口 - 用户程式；提供标准服务，比如虚拟终端、文件以及任务的传输 和处理； 　　第六层：表示层     掩盖不同系统间的数据格式的不同性； 指定独立结构的数据传输格式； 数据的编码和解码；加密和解密；压缩和 ...

项目介绍本项目是对一些复杂的报表解析爬取列表数据，以国家网为例（大家最好换一个网站），会自动根据数据库配置text（数据库为字典方式），进行点击树形结构，然后input下拉框内时间，并选择省（时间和省由配置文件配置），但下拉列表的xpath没有数据库化，现阶段是写死在代码中项目开始由递归进行判定是否为最后一层，字典表可配置N层，看你网站的复杂度加入QQ群：943841699源码地址...

1 简介        什么是服务降级？当服务器压力剧增的情况下，根据实际业务情况及流量，对一些服务和页面有策略的不处理或换种简单的方式处理，从而释放服务器资源以保证核心交易正常运作或高效运作。        如果还是不理解，那么可以举个栗子：假如目前有很多人想要给我付钱，但我的服务器除了正在运行支付的服务之外，还有一些其它的服务在运行，比如搜索、定时任务和详情等等。然而这些不重要的服务就...

项目介绍本项目针对微信公众号文章爬取，通过微信公众号名称或微信号，爬取发布的文章，并对文章进行去重操作若有其他问题请加群943841699，共同探讨技术本项目借鉴很多其他项目，就不一一列出 源码地址https://gitee.com/xywdy/wechat_creeper若对项目有帮助，记得捐赠打赏偶使用说明1. 请安装python3.X环境，安装教程可参考  ...

数据丢失是一件非常严重的事情事，针对数据丢失的问题我们需要有明确的思路来确定问题所在，针对这段时间的总结，我个人面对kafka 数据丢失问题的解决思路如下：是否真正的存在数据丢失问题，比如有很多时候可能是其他同事操作了测试环境，所以首先确保数据没有第三方干扰。 理清你的业务流程，数据流向，数据到底是在什么地方丢失的数据，在kafka 之前的环节或者kafka之后的流程丢失？比如kafka的数...

spring boot集成redis进行数据缓存功能        @Cacheable 表明Spring在调用方法之前，首先应该在缓存中查找方法的返回值。如果这个值能够找到，就会返回缓存的值。否则的话，这个方法就会被调用，返回值会放到缓存之中        @cacheput 表明Spring应该将方法的返回值放到缓存中。在方法的调用前并不会 检查缓存，方法始终都会被调用      ...

今天封装mongo工具包，发现QueryBuilder中DBObject被弃用，改为Document构造。为什么，我们稍微分析一下 Document实现Map，与基本的DBObject相比，可编写的代码更少DBObject虽然不被推荐，那些从2.x驱动程序系列可能继续使用DBObject接口来表示BSON documents。DBObject与Document类似，它将BSON值表示为Ob...

Springcloud配置优化方案1.解决Eureka注册服务慢的问题（1）调整客户端心跳时间 instance:    # 心跳时间，即服务续约间隔时间（缺省为30s）    lease-renewal-interval-in-seconds: 5    # 发呆时间，即服务续约到期时间（缺省为90s）    lease-expiration-duration-in-sec...

令牌桶算法是网络流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常使用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据的数目，并允许突发数据的发送。令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌，则允许发送流量；而如果令牌桶中不存在令牌，则不允许发送流量。因此，如果...

配置参数 默认值 说明 服务注册中心配置    Bean类：org.springframework.cloud.netflix.eureka.server.EurekaServerConfigBean eureka.server.enable-self-prese...

概念响应式流(Reactive Streams)是以带非阻塞背压方式处理异步数据流的标准，提供一组最小化的接口，方法和协议来描述必要的操作和实体。要解决的问题：系统之间高并发的大量数据流交互通常采用异步的发布-订阅模式。数据由发布者推送给订阅者的过程中，容易产生的一个问题是，当发布者即生产者产生的数据速度远远大于订阅者即消费者的消费速度时，消费者会承受巨大的资源压力(pressure)...

Trse KeyError(key)aceback (most recent call last):  File "/root/pyrun/wechat_crawl/articles_update_exec.py", line 3, in &lt;module&gt;    from articles_update import *  File "/root/pyrun/wechat_cra...

目录  1. 下载安装node.js2. 安装Git3. 使用git安装npm（node.js安装时自带npm的，这一步可以忽略）4. NPM设置安装VUE.js构建项目NPM安装依赖出错 1. 下载安装node.js    下载最新版node.js,现在最新版地址     https://nodejs.org/dist/latest-v9.x/...

Spring Cloud Consul1.2.0.RELEASE该项目通过自动配置并绑定到Spring环境和其他Spring编程模型成语，为Spring Boot应用程序提供Consul集成。通过几个简单的注释，您可以快速启用和配置应用程序中的常见模式，并使用基于Consul的组件构建大型分布式系统。提供的模式包括服务发现，控制总线和配置。智能路由（Zuul）和客户端负载平衡（Ribbon...

Spring Cloud目录特性 云原生应用程序 Spring Cloud上下文：应用程序上下文服务 引导应用程序上下文 应用程序上下文层次结构 改变引导位置Properties 覆盖远程Properties的值 自定义引导配置 自定义引导属性源 环境变化 刷新范围 加密和解密 端点 Spring Cloud Comm...

首先说linux安装，现阶段最新版本为1.3下载地址：https://www.consul.io/downloads.html1. 下载并解压consul# cd /opt/# mkdir consul# chmod 777 consul# cd consul# wget https://releases.hashicorp.com/consul/1.3.0/consu...

目录Consul 简介Consul 的使用场景Consul 的优势Consul 的角色consul cluster集群架构图Consul常用命令consul agent 命令的常用选项 Spring Cloud Consul 项目是针对Consul的服务治理实现。Consul是一个分布式高可用的系统，具有分布式、高可用、高扩展性。Consul 简介Con...

目录  安装Rabbit下载并安装erlang下载并安装RabbitMQ安装RabbitMQ-Plugins验证错误解决方案rabbitMQ运行命令创建用户，密码，绑定角色RabbitMQ角色介绍RabbitMQ权限介绍 安装Rabbit下载并安装erlang原因：RabbitMQ服务端代码是使用并发式语言Erlang编写的，安装Ra...

目录 rabbitMQ运行命令创建用户，密码，绑定角色RabbitMQ角色介绍RabbitMQ权限介绍 rabbitMQ运行命令创建用户，密码，绑定角色1. 查看已有用户及用户的角色：rabbitmqctl list_users2. 新增一个用户：rabbitmqctl add_user username password在liuxl后没有角色信息，...

最大的区别是Eureka保证AP, Consul为CP。Consul强一致性(C)带来的是：服务注册相比Eureka会稍慢一些。因为Consul的raft协议要求必须过半数的节点都写入成功才认为注册成功 Leader挂掉时，重新选举期间整个consul不可用。保证了强一致性但牺牲了可用性。Eureka保证高可用(A)和最终一致性：服务注册相对要快，因为不需要等注册信息replica...

从AMQP协议可以看出，MessageQueue、Exchange和Binding构成了AMQP协议的核心，下面我们就围绕这三个主要组件    从应用使用的角度全面的介绍如何利用Rabbit MQ构建消息队列以及使用过程中的注意事项。   1. 声明MessageQueue       在Rabbit MQ中，无论是生产者发送消息还是消费者接受消息，都首先需要声明一个Mess...

在线测试网址：http://www.matools.com/crontab执行crontab -e#执行python脚本，输出为后台日志    35 11,19 * * * python3 /root/pyrun/wechat_crawl/articles_update_exec.py &gt; /root/pyrun/log/articles_update_exec.txt 2&gt...

上一张介绍了selenium ActionChains用法selenium提供了更高级的玩法，Select模块。直接根据属性或索引定位。导入包 from selenium.webdriver.support.select import Select1. 通过select选项的索引来定位选择对应选项（从0开始计数），如选择第三个选项:select_by_index(2)    r...

下面介绍一下ActionChains：用selenium做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双击、点击鼠标右键、拖拽等等。而selenium给我们提供了一个类来处理这类事件——ActionChains    selenium.webdriver.common.action_chains.ActionChains(driver)这个类基本能够满足我们所有对鼠标...

Select提供了三种选择方法：# 通过选项的顺序，第一个为 0 select_by_index(index)# 通过value属性 select_by_value(value) # 通过选项可见文本select_by_visible_text(text) Select提供了四种方法取消选择：deselect_by_index(index) deselect_by_va...

1. 安装chrome我使用的是Centos7,使用如下安装方式配置yum下载源：在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo, 并且在该文件中添加如下内容：[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$b...

在跑比较时间比较长的程序，或者是打印信息比较多的程序时，一般都会后台运行程序，然后把打印信息保存在文件中，等程序运行结束后再检查输出日志。完成该功能可以用如下命令：nohup python -u test.py > test.log 2>&1 &其中，1. 最后一个“&”表示后台运行程序2. “nohup” 表示程序不被挂起3. “pytho...

UI自动化中经常会遇到元素识别不到，找不到的问题，原因有很多，比如不在iframe里，xpath或id写错了等等；但有一种是在当前显示的页面元素不可见，拖动下拉条后元素就出来了。在python中有几种方法解决这种问题，简单介绍下，给需要的人：方法一）使用js脚本直接操作，方法如下：js="var q=document.getElementById('id').scrollTop=100...

1. 安装python依赖环境# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel上述可根据具体情况安装，不需要所有插件可能会提示：Loaded...

Webmagic是Java中的一个爬虫开源框架，主要有四大核心组件，分别是：Downloader、PageProcessor、Scheduler、Pipeline，并有Spider进行管理。这四个组件分别对应了爬虫生命周期中的下载、处理、管理、持久化。同时还支持XPath、Jsoup、CSS选择器，方便我们对抓取的页面进行解析。    Webmagic的源码可以从github上pull下来：h...

当运行webdriver.Chrome(),出现如下错误：selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary原因是没有找到chrome运行路径，也就是说你的chrome不是默认安装地址修改如下：增加binary_options:opti...

一、下载安装Python2.7和Python3.6安装包下载地址：https://www.python.org/downloads/二、配置系统环境变量在环境变量中添加1.安装目录\Python272.安装目录\Python27\Scripts3.安装目录\Python364.安装目录\Python36\Scripts三、在安装目录中修改可执行文件找到pyth...

安装Python27后，配置好环境变量，运行pip list出现如下错误Traceback (most recent call last):  File "d:\app\python\python27\lib\runpy.py", line 174, in _run_module_as_main    "__main__", fname, loader, pkg_name)  File ...

ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。  官方站点：http://www.elasticsearch.com/ 中文站点：http://es-cn.medcl.net/    1.安装  必须先安装Java环境，并设置 J...

Scheduler是Webmagic中的url调度器，负责从Spider处理收集(push)需要抓取的url(Page的targetRequests)、并poll出将要被处理的url给Spider，同时还负责对url判断是否进行错误重试、及去重处理、以及总页面数、剩余页面数统计等。主要接口： Scheduler，定义了基本的push和poll方法。基本接口。 Monitorab...

Redis五大类型:字符串（String）、哈希/散列/字典（Hash）、列表（List）、集合（Set）、有序集合（sorted set）五种Controller:@Resource RedisTemplate&lt;String, String&gt; redisTemplate;总括:redisTemplate.opsForValue();//操作字符串redisTemplate....

[java] view plain copystringRedisTemplate.opsForValue().set("test", "100",60*10,TimeUnit.SECONDS);//向redis里存入数据和设置缓存时间  [java] view plain copystringRedisTemplate.boundValueOps("test").increment(-...

 安装Python查看https://mp.csdn.net/postedit/82353224测试pip版本:pip -v  如果已经安装了Python，则进入Python scripts文件夹下，运行pip -v更新pip : python -m pip install -U pip安装TensorFlow（CPU环境）pip3 install --ignore-insta...

1. 下载Pythonhttps://www.python.org/downloads/release/python-362/2. 配置环境变量PYTHON_HOME=D:\app\Python\Python36path = %PYTHON_HOME%;3. 安装pip其实从Python2.7以上就已经自带pip，在Python/Scripts文件夹中4. 安装se...

在使用selenium启动谷歌Chrome浏览器的时候，是需要用到chromedirver的，两者之间的版本是需要匹配的，否则会出现下面类似的报错： Driver info: driver.version: ChromeDriver    at org.openqa.selenium.remote.service.DriverService.waitUntilAvailable(Dr...

xpath速度比较快，是爬虫在网页定位中的较优选择，但是很多网页前端代码混乱难以定位，而学习定位也较为不易（主要是全面的教程较少），这里列出一点编程过程中可能有用的东西，欢迎共同学习批评指正。试验环境：Python环境，lxml.etree试验所使用的html代码&lt;!DOCTYPE html&gt;&lt;html&gt;&lt;head&gt; &lt;title&g...

摘要：二、IPTABLES规则(Rules)牢记以下三点式理解iptables规则的关键:Rules包括一个条件和一个目标(target)如果满足条件,就执行目标(target)中的规则或者特定值。如果不满足条件,就判断下一条Rules。目标值(TargetValues)下面是你可以在target里指定的特殊值:ACCEPT–允许防火墙接收数据包DROP–防火墙丢弃包QUEUE–防火墙将数据包...

但当我们执行打包命令，平时都能成功，但是一旦含有这种依赖关系问题就出来了。mvn -f pom.xml clean package这个时候如果需要打包发布到docker基本是每次都会提示是缺少依赖的。如果要解决这个问题，要注意下面几点1.父项目不能含有打包插件2.先对父项目的文件夹下运行一个安装操作，如mvn -f pom.xml clean install注意：如果父...

mysql5.7在使用group by子句时，会遇到如下问题com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'ipm.cm.meas_id' whi...

开通远程端口相对比较麻烦，首先要查看规则是否配置，然后再去配置端口。首先确定是否有iptables :service iptables status1. 安装：yum install -y iptables    升级iptables:yum update iptables2. 安装：yum install iptables-services    iptables-servi...

把这三个拿到一起来说，是因为这三种排序思想很像。计数排序、基数排序、桶排序则属于非比较排序。非比较排序是通过确定每个元素之前，应该有多少个元素来排序。针对数组arr，计算arr[i]之前有多少个元素，则唯一确定了arr[i]在排序后数组中的位置。非比较排序只要确定每个元素之前的已有的元素个数即可，所有一次遍历即可解决。算法时间复杂度O(n)。非比较排序时间复杂度底，但由于非比较排序需要占用空间...

首先确定是否有iptables安装：yum install -y iptables授权配置mysql远程连接：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;flush privileges;查看端口： mysql&gt; show global va...

在CentOS中默认安装有MariaDB，这个是MySQL的分支，但为了需要，还是要在系统中安装MySQL，而且安装完成之后可以直接覆盖掉MariaDB。1 下载并安装MySQL官方的Yum Repository[root@localhost ~]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10...

方法一：开始，运行输入regedit打开注册表编辑器，展开注册表“HKEY_LOCAL_MACHINE\Software\Microsoft\ Windows\ CurrentVersion”分支，在窗口的右侧区域找到名为“ProgramFilesDir”和“ProgramFilesPath”的键值，将其原键值“C:\Program Files”改为“D:\Program Files”，关闭注册表...

问题导读：1.Spark的适用场景是什么？2.spark 运行流程是怎样的？3.Spark Streaming的运行原理是怎样的？spark 生态及运行原理Spark 特点运行速度快 =&gt; Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用...

在很多时候我们会遇到微服务之间文件传输，很多时候我们可以通过序列化等方式解决（如图片等）。最近项目中有个excel上传，以及多媒体文件上传，直接报错。也试了2种解决方式，都不可行。1.     写一个文件Encoder解析器，会出现其他的rest请求出现encoder错误2.     springcloud feign有一个规范，不可以传输2个对象，可以是一个对象带几个参数方式。...

静态资源拦截器对于一些小型的系统，如果要使得项目结构可视化可读性比较好，页面的静态资源管理，路径的管理等都需要有一定规范。我们先看看路径包含哪些：1.     jar包内的本地路径，也即服务器容器路径2.     http的URL路径，即网络请求路径3.     静态资源存储路径（通过URL请求图片，css等文件路径）我们来看看springMVC如何处理的首先，springMVC会通过映射把网络的...

下载地址：https://www.sonarqube.org/直接基于maven提交检查：clean package sonar:sonarsetting.xml加入：    &lt;profile&gt;        &lt;id&gt;sonar&lt;/id&gt;        &lt;activation&gt;            &lt;activeByDefault&gt;tr...

目录 CAP理论 CAP理论起源CAP理论发展 MongoDB与CAP         write-concern：read-reference:read-concern: 一致性 or 可用性？references 正文 　　 　　大约在五六年前，第一次接触到了当时已经是hot topic的NoSql。不过那个时候学的用的都是mysql，Nosql对于我而言还是新事物，并没有真正使用，只是不...

压缩感知（压缩传感，Compressive Sensing）理论是近年来信号处理领域诞生的一种新的信号处理理论，由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者)等人提出，自诞生之日起便极大地吸引了相关研究人员的关注。网站http://dsp.rice.edu/cs上可以获取大量相关的论文。 ...

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称gr...

现在IT界人工智能、深度学习、机器学习很火，都能说出个123来，但真正知道他们的关系的我想只有真正去我们先来看下深度学习是个什么东东。他和人工智能，神经网络有什么关系？l  深度神经网络是一种具备至少一个隐层的神经网络。深度神经网络通常都是前馈神经网络。l  前馈型神经网络我们在之前章节也提到过，特征是至少有一个隐层。也就是说，多层前馈神经网络都是深度神经网络，但深度神经网络不一定是多层前馈神经网...

根据现有的能力设计一个模型，如果大家有更优的办法，欢迎指正与交流。本设计是建立在已有用户中心系统的基础上，各个系统账号统一，并且也是针对hbase数据库的一个设计（若没有统一账号，建议先统一各个系统账号，想一步到位，也不是不可，需要花费的代价……） 根据推荐引擎业务来说明。用户行为采集。离线job清洗转化行为数据推荐计算（此处包含较多，不单独介绍，后续有时间会整理出来其架构及实施方案）实时读取历史...

1.1   什么是用户画像？用户画像通常包含定性画像与定量画像；定性画像是描述用户的基本属性、行为刻画、兴趣模型等，定量画像主要包括用户基础变量、兴趣偏好等可量化的数据特征。一般情况，定量画像主要通过...

1.1   Neuroph如果你是神经网络的初学者，你只是想尝试一下他们如何工作而不需要复杂的理论和实施，或者你需要他们快速的为你的研究项目，neuroph是很好的选择。它是小型的，文档化的，易于使用，并且非常灵活的神经网络框架.1.1.1 下载2.9版本下载地址：https://sourceforge.net/projects/neuroph/files/neuroph2.94/neuroph-...

1.1常用传递函数 函数名称 映射关系 缩写 说明 阶梯函数 n<=0; a=0 n>0; a=1 step 大于0，输出1 符号函数 n<0; a=-1...

1概述写神经网络与深度学习方面的一些知识，是一直想做的事情。但本人比较懒惰，有点时间想玩点游戏呀什么的，一直拖到现在。也由于现在已经快当爸了，心也沉了下来，才能去梳理一些东西。本文会深入检出的去看神经网络与深度学习的一些知识，包含一些算法、基础等，比较适合初学者。文笔有限，有些不好理解的地方会配图及实例。本文主要使用neuroph做实例进行讲解去理解机器学习相关，为什么会...

需要软件：X264:http://download.videolan.org/x264/snapshots/ffmpeg:http://www.ffmpeg.org/download.htmlyasm:http://yasm.tortall.net/Download.html调试了近一下午时间，各种错误，以排查完成，并总结出一套盲操作手册，希望可以帮助大家1. 解压缩并安装插件tar -xvzf ...