soon14-CSDN博客

原创忆人忆家

忆人忆家--一站式的民宿运营服务商忆人忆家创立于2018年1月，截止2019年1月，服务民宿房东已经超过1000人次。忆人忆家秉持诚信、责任、包容、创新的价值观，打造了全新的民宿设计、装修、运营、售后的服务模式。创造了“互动、分享、自由”的设计理念，让房子和住户联动起来，让民宿不再仅仅只是“住”，更多的是享受。同时，打造VR订房、VR商城系统，让每一个民宿房屋成为一个小型“百货商店”，让住户不...

2019-02-25 15:45:43 302

转载使用scrapy进行大规模抓取(二)

这是接着之前的(一)写的，上一篇里主要是写了一些解决性能问题的思路。时间过去快半年了，我们抓取的页面也不止百万了。我们在爬虫上也做了一些小改进，比如改善了链接提取器，(一)里提到的四个问题也都有不同程度的改进，但是还是有一些问题迟迟没能解决。scrapy的问题爬虫是一个很依赖于网络io的应用，单机的处理能力有限，很快就变成瓶颈。而scrapy并不是一个分布式的设计，在需要大规模爬取

2014-11-05 16:56:31 1055

转载使用scrapy进行大规模抓取(一)

使用scrapy有大概半年了，算是有些经验吧，在这里讨论一下使用scrapy作为爬虫进行大规模抓取可能遇到的问题。我们抓取的目标是教育网上的网站（目前主要针对.edu.cn和.cas.cn/.cass.cn域名），这半年里抓取了百万以上的url，其实百万url的规模不算大，我们一直在改进系统，还没有开始全量的抓取。如果想了解scrapy的话，推荐pluskid的scrapy轻松定制网络爬虫

2014-11-05 16:53:11 977

转载深度学习(Deep Learning,DL)参考网站和资料汇总

DL是人工智能的一场革命1第一人（提出者）由加拿大多伦多大学计算机系(Departmentof Computer Science ,University of Toronto) 的教授Geoffrey E. Hinton于2006年提出。其个人网站是：http://www.cs.toronto.edu/~hinton/science上的那篇论文：http://www.sciencemag.org/

2014-10-15 10:28:35 1085

转载气象数据下载

http://yangwanshun518.blog.163.com/blog/static/30080136201121083539381/包括：综合资料、降水、SST、地面覆盖资料、风场/OLR/指数资料 Noaa资料库： http://www.cdc.noaa.govNCEP资料介绍：http://www.nomad2.ncep.noaa.gov/nc

2014-09-19 18:02:24 38226