一个例子了解迁移学习

迁移学习 对于传统机器学习而言,要求训练样本与测试样本满足独立同分布,而且必须要有足够多的训练样本。而迁移学习能把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),目标领域往往只有少量有标签样本,使得目标领域能够取得更好的学习效果。       迁移方式 样本迁移,在源...

2018-12-13 14:50:02

阅读数:3

评论数:0

线性回归数学推导

一、数学基础 1、似然函数 概率(probability):描述已知参数时的随机变量的输出结果; 似然函数(likelihood):用来描述已知随机变量输出结果时,未知参数的可能取值。 似然函数和密度函数是完全不同的两个数学对象,前者是关于的函数,后者是关于的函数。 2、高斯分布 ...

2018-12-12 19:26:19

阅读数:5

评论数:0

Python 的枚举类型

起步 Python 的原生类型中并不包含枚举类型。为了提供更好的解决方案,Python 通过 PEP 435 在 3.4 版本中添加了 enum 标准库。 枚举类型可以看作是一种标签或是一系列常量的集合,通常用于表示某些特定的有限集合,例如星期、月份、状态等。在没有专门提供枚举类型的时候我们是...

2018-12-11 17:43:13

阅读数:45

评论数:0

一天造出10亿个淘宝首页,阿里工程师如何实现?

双11手淘首页的几个重要推荐场景截图如下:   如上图所示,左一场景为AIO综合会场,包括AIO日常场景(淘抢购、有好货、清单等)、双11人群会场及行业会场;中间为AIOplus场景卡片综合会场,包括5张会场卡片,每张卡片融入了行业主分会场、标签会场,该业务涉及到20多个日常业务以及标签、...

2018-12-07 14:02:50

阅读数:9

评论数:0

自己动手实现神经网络分词模型

分词作为NLP的基础工作之一,对模型的效果有直接的影响。一个效果好的分词,可以让模型的性能更好。 在尝试使用神经网络来分词之前,我使用过jieba分词,以下是一些感受: 分词速度快 词典直接影响分词效果,对于特定领域的文本,词典不足,导致分词效果不尽人意 对于含有较多错别字的文本,分词效果...

2018-12-05 15:12:25

阅读数:7

评论数:0

如何简单高效地部署和监控分布式爬虫项目

需求分析 初级用户: 只有一台开发主机 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目,以及通过 Scrapyd JSON API 来控制爬虫,感觉命令行操作太麻烦,希望能够通过浏览器直接部署和运行项目 专业用户: 有 N 台云主机,通过 Scrapy-...

2018-11-15 15:13:00

阅读数:11

评论数:0

爬取斗图网表情包之后斗图会输?不存在的

    前言: 本文非常浅显易懂,可以说是零基础也可快速掌握。如有疑问,欢迎留言,笔者会第一时间回复。 一、分析表情包网址     1、进入斗图啦网址,点击**“最新表情”**,再点击第二、第三页,得出规律如下:   第一页:www.doutula.com/phot...

2018-11-10 11:16:38

阅读数:21

评论数:0

爬虫优化

1.随机休眠 在爬虫的工作过程中,自然是爬得越快越好,但是如果你的目标网站有比较完善的防爬系统,而你却只有一个对外IP地址。那么在这个时候你就应该考虑到随机休眠,而不是定时休眠。当一个真实用户在浏览某个网站的过程中,发生的每一次操作、页面跳转应该都是无时间规则的。所以我们在爬虫中应该模拟真实用...

2018-11-08 19:33:43

阅读数:33

评论数:0

深入浅出运维自动化体系演化

马上要进入双十一倒计时了,这里有必要对我们的”运维自动化体系”,有所回顾及展望。 一、运维自动化发展通常划分   如果把运维自动化发展按上图作划分, 在过去一年多的时间里,我们通过努力,逐渐从第一阶段迈进到第三阶段; 二、回顾过去一年贝聊运维自动化体系演化 一年之前的贝聊运维的情况:   ...

2018-11-06 20:03:15

阅读数:15

评论数:0

深度学习-自然语言模型随记

为什么要研究深度学习?       语言模型       看概率!         n-gram     一行一行看,比如第一行,i后面接i的出现次数,i后面接want的出现次数。 上面表表示词后面接某词的次数,下面表表示词后面接某词的概率...

2018-11-05 14:54:20

阅读数:11

评论数:0

机器学习实现双十一购物清单的自动商品标签归类

双十一购物狂欢节马上又要到来了,最近各种关于双十一的爆品购物列表在网上层出不穷。如果是网购老司机,一定清楚通常一件商品会有很多维度的标签来展示,比如一个鞋子,它的商品描述可能会是这样的“韩都少女英伦风系带马丁靴女磨砂真皮厚底休闲短靴”。如果是一个包,那么它的商品描述可能是“天天特价包包2016新款...

2018-11-01 22:02:30

阅读数:12

评论数:0

如何构建一个分布式爬虫:理论篇

前言 本系列文章计划分三个章节进行讲述,分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识,基础篇会基于理论篇的知识写一个简易的分布式爬虫,实战篇则会以微博为例,教大家做一个比较完整且足够健壮的分布式微博爬虫。通过这三篇文章,希望大家能掌握如何构建一个分布式爬虫的方法;能举...

2018-10-31 14:47:56

阅读数:10

评论数:0

心中无码:这是一个能自动脑补漫画空缺部分的AI项目

图像修复在应用上非常吸引人,通常设计师需要使用 Photoshop 根据图像周围修复空缺部分。这一过程非常耗时和细致,因此很早就有研究尝试使用机器学习模型自动化这一过程。这篇文章介绍了 DeepCreamPy 项目,它可以自动修复漫画图像中的空缺部分和马赛克。该项目主要基于几个月前 Nvidia...

2018-10-30 16:31:34

阅读数:35

评论数:0

分布式爬虫的部署之Gerapy分布式管理

我们可以通过Scrapyd-Client将Scrapy项目部署到Scrapyd上,并且可以通过Scrapyd API来控制Scrapy的运行。那么,我们是否可以做到更优化?方法是否可以更方便可控? 我们重新分析一下当前可以优化的问题。 使用Scrapyd-Client部署时,需要在配置文件...

2018-10-30 14:47:20

阅读数:15

评论数:0

如何学爬虫,如何学数据分析,如何学人工智能并转到这些行业?

最近有个朋友给我留言,和我聊天,分享了他这段时间在培训Python编程这一块,今天整理这篇文章,会详细介绍0基础学python该如何学,帮助到更多想学习python的朋友,给广大同学朋友规划个适合学习规划。 他大学学习的应用化学,后来毕业做了2年全栈设计师(PS:设计和前端都不熟练的那种)后...

2018-10-22 17:31:32

阅读数:77

评论数:0

妈妈再也不用担心爬虫被封号了!手把手教你搭建Cookies池

很多时候,在爬取没有登录的情况下,我们也可以访问一部分页面或请求一些接口,因为毕竟网站本身需要做SEO,不会对所有页面都设置登录限制。 但是,不登录直接爬取会有一些弊端,弊端主要有以下两点。 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源,某博客设置了登录才可查看全文等,这些...

2018-10-19 15:14:32

阅读数:27

评论数:0

百度大牛分享Django ORM 数据库生命周期规则

起因 有时在线上会遇到“MySQL Server gone away”的错误,但是是以一定概率出现的,今天又遇上了,不得不逼迫自己彻底去解决这个事情。老实说,一般遇到这种看不懂的错误,心里还是挺懵的。一来这种错误一般暴露自己底层知识理解不够透彻;二来是框架毕竟封装了太多,让人看得见森林却看不见树...

2018-10-19 15:03:53

阅读数:34

评论数:0

关于phantomjs爬取需要登录页面并截图(页面包含一些异步请求的数据)

项目有个需求是需要捕获某个页面的数据(后端完成),因为之前用过phantom,所以就毫不犹豫的选择了它,关于phantom的介绍,安装和简单使用百度很容易找到,这里就不再赘述了。 之后就开始大刀阔斧的码起来了,兴致冲冲的利用网上找到的截取某网页的代码(见附录1)测试。 'use strict'...

2018-10-18 15:29:31

阅读数:52

评论数:0

大牛深入浅出帮你落地网络 HTTP

了解 Web 及网络基础     对端传输     发送端在层与层间传输数据时,没经过一层都会被加上首部信息,接收端每经过一层都会删除一条首部     多种协议作用     IP 协议,TCP 协议和 DNS 服务在使用 HTTP 协议过程中发挥的作用 简单的 H...

2018-10-16 15:59:35

阅读数:17

评论数:0

2018年最常见的Python面试题&答案(上篇)

Python新手在谋求一份Python编程工作前,必须熟知Python的基础知识。编程网站DataFlair的技术团队分享了一份2018年最常见Python面试题合集,既有基本的Python面试题,也有高阶版试题来指导你准备面试,试题均附有答案。面试题内容包括编码、数据结构、脚本撰写等话题。本文为...

2018-10-16 13:54:50

阅读数:23

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭