- 博客(17)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 机器学习入门--协同过滤算法[推荐算法]
一、推荐算法前言 大数据时代产生了海量的数据,数据对企业来说是一种隐形的资产,里面蕴含了丰富的价值。但是,大数据体量之大、种类之繁以及产生速率之快,海量的数据并不都是有价值的,用户从海量的数据中提取有用的、针对性的信息需要花费很大的时间成本。比如,当你面对如此多的电影列表,你想找到一部最符合自己兴趣的电影,因为电影数量之多,你不可能把所有的电影简介都看一遍。那么怎么解决这个问题呢?
2018-01-16 18:30:50
42875
13
原创 抓取百度&搜狗相关搜索、筛选文本相似度最高的相关搜索(PHP)
<?phperror_reporting(E_ERROR);print_r(curl_get_max_similarity__keyword("世界最受欢迎的明星"));/** * 获取相似度最高的相关搜索 * @param string $keyword 关键字 * @return string 返回字符串 */function curl_get_max_similarity__keyword($keyword) { //获取相关搜索 $relate_keyword_
2020-11-21 14:13:16
909
原创 Spring注解@ConfigurationProperties
@ConfigurationProperties是一个外部化配置注解,比如外部的.properties属性文件。使用该注解,可以实现把外部的属性绑定到Bean实例,也可以实现在绑定的过程对外部属性进行合法性验证。一、@ConfigurationProperties如何使用@ConfigurationProperties注解通常放在类上使用,比如:@ConfigurationPropertie...
2020-01-06 18:57:37
1080
1
原创 一张图讲清楚SpringMVC运行原理,以及拦截器&过滤器区别与执行顺序
本文目录一、一张图讲清过滤器与拦截器在SpringMVC请求响应流程情况二、Filter过滤器在SpringBoot项目中使用说明1、注解方式2、编码方式三、Interceptor拦截器在SpringBoot项目中使用说明1、继承`WebMvcConfigurationSupport`+`@Configuration 或 @Component`注解四、SpringMVC运行原理源码解读一、一张图...
2019-12-05 12:04:16
1990
3
原创 docker部署GitLab配置本机自动备份、自动清理
自动备份1.创建备份脚本文件auto_backup.sh:#! /bin/bashdocker exec gitlab gitlab-rake gitlab:backup:create2.运行crontab -e命令创建定时任务:0 2 * * * root /home/gitlab/sh/auto_backup.sh0 2 * * *每天凌晨两点自动清理备份1.创建备份脚...
2019-07-27 19:18:37
1547
转载 【产品】产品之术:一目了然的状态机图
什么状态机图,它的使用场景是什么?文章为你解读。一、什么是状态机?做产品的时候,我们总能遇到一些比较复杂的逻辑问题。比如状态的转换,字段状态的确认,权限的控制,状态的对应。而普通的流程图,或时序图,更侧重于流程和动作的描述,对于对象和状态的解读缺乏直观。这里我们推荐一种方式,就是画一个简单的状态机图:那么什么是状态机呢?状态机我们将的一般是指有限状态机:有限状态机,(英语:Fi...
2018-09-21 18:29:41
3140
原创 【GitLab】GitLab数据自动删除、自动备份
GitLab数据手动备份1、GitLab默认备份目录为/var/opt/gitlab/backups,可以修改/etc/gitlab/gitlab.rb里面的默认存放备份文件目录,这里使用默认备份目录:gitlab_rails['backup_path'] = '/var/opt/gitlab/backups' 如果修改默认备份目录,需要运行gitlab-ctl reconfi...
2018-09-15 14:29:30
4812
1
转载 【产品】BRD、MRD 和 PRD 之间的区别与联系
1.非常细节的、已知的、已有产品改善类的功能,提供PRD级别的即可; 2.一般产品的新系统、较综合的新功能实现,提供MRD; 3.全新的产品、较为重要和未来发展较为复杂的产品,提供BRD。即,你考虑写的需求文档是给什么范围的人看的、所描述的需求是个什么范围和级别的。1>BRD你要给产品、运营、研发、管理层等很多人看,要讲清楚为什么有这个需求,需求的边界和业务目标,所需资源等; ...
2018-08-13 13:39:28
3505
原创 springboot入门--springboot集成redis实现消息发布订阅模式
1,application.properties配置redis以及连接池#redisspring.redis.host=localhostspring.redis.port=6379#spring.redis.password=spring.redis.database=1spring.redis.pool.max-active=8spring.redis.pool.max-w...
2018-02-26 15:15:48
14527
1
原创 设计模式入门--发布订阅模式
概念首先说明一下,发布-订阅模式并不等同于观察者模式,这两者是有区别的。举例说明,用户直接向出版社订阅杂志,出版社直接把杂志发送给订阅杂志的用户,这种场景就是观察者模式。而发布-订阅模式则不同,出版社和用户并不直接接触,用户是向邮局订阅杂志,出版社向邮局发布杂志后,邮局再向用户派送杂志。也就是说,发布-订阅模式是有一个中转调度中心的。如下图:上图发布订阅模式进行抽象如下图,借图一用:
2018-02-01 17:51:36
360
原创 设计模式入门--观察者模式
概念当一个主题对象状态发生变化时,则会自动通知它的依赖对象进行一些逻辑的处理,这就是观察者模式。 直白点说,一个类依赖另外一个乃至多个类,这个类实例状态变化时,会调用它所依赖对象的接口,触发它依赖对象进行某些逻辑的处理。专门拿出来感觉很抽象,事实上这个设计模式,我们经常在代码中都会使用到。角色抽象主题:被观察者(Subject)。提供对观察者增删、通知等操作接口。
2018-02-01 15:46:10
215
原创 hadoop入门--使用Apache Pig统计每个航班班次
案例基于hadoop 2.73,伪分布式集群1,数据包导入hadoop集群hdfs的/user/root目录下hdfs dfs -copyFromLocal 2008.csv /user/root2,编写totalmiles.pig脚本records = LOAD '2008.csv' USING PigStorage(',') AS(Year,Month,Dayof
2018-01-15 16:09:54
1545
2
原创 hadoop入门--通过Apache Flume向HDFS存储数据
本笔记基于Hadoop2.7.3,Apache Flume 1.8.0。其中flume source为netcat,flume channel为memory,flume sink为hdfs。1,配置flume代理文件配置一个flume agent代理,在此名称为shaman。配置文件(netcat-memory-hdfs.conf)如下:# Identify the compo
2018-01-14 21:30:31
718
原创 hadoop入门--使用MapReduce统计每个航班班次
案例基于hadoop 2.73,伪分布式集群一,创建一个MapReduce应用MapReduce应用结构如图: 1、引入maven依赖project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca
2018-01-14 21:28:05
3585
1
原创 hadoop入门--图说MapReduce处理数据的过程
下图来源于《Hadoop For Dummies》图书,示例为统计每个航班的飞行航次。学习资料: 1,《Hadoop For Dummies》
2018-01-14 21:24:48
527
原创 hadoop入门--简述hadoop 2.x Yarn组件协作过程
系统结构hadoop2.x主要包括三个核心部分:(1) hdfs-分布式存储组件hadoop用于存储数据的基础组件。分布式的,跨网络交互的hdfs集群。(2) yarn-资源管理、任务调度组件hadoop用于资源管理、任务调度的基础组件。yarn使hadoop成为分布式处理数据的通用平台,支持MapReduce v2、Tez、Hoya等多种计算框架。(3) proces
2018-01-12 18:15:41
590
原创 hadoop入门--简述Hadoop 1.X 系统原理
一、hadoop 1.x结构HDFS:hadoop分布式存储系统。MapReduce:分布式计算框架,包含资源管理和任务调度等(hadoop 2.x中被分离到Yarn组件)。API:用户与系统交互的入口,有原生的MapReduce API,也有对Map Reduce进行封装抽象的Pig、Hive和HBase等。二、hadoop 1.x运行原理1:客户端首先向Mas
2018-01-10 15:26:21
390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人