- 博客(4)
- 资源 (21)
- 收藏
- 关注
原创 爬虫学习笔记-WebMagic初识
WebMagic是一款基于Java开源的简单灵活的爬虫框架,使用起来非常简单,与Scrapy爬虫框架很相似,WebMagic的原理与使用官方有详细的说明,这里就不再陈述,直接上实例。使用说明链接地址: http://webmagic.io/docs/zh/ us.codecraft webmagic-core 0.5.3 us.codecr
2016-10-29 01:50:09 1886 3
原创 爬虫学习笔记-Scrapy散记1
一、Selenium模拟浏览器爬取界面def selenium_crawl_goubanjia_proxy_ip(): parent_dir = os.path.dirname(__file__) current_operation_system = platform.system() if current_operation_system == 'Windows...
2016-10-29 01:20:03 946
原创 爬虫学习笔记-Scrapy初识
Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类。基于Python2.7安装Scrapy:pip install scrapypip install sc...
2016-10-29 00:40:56 2217
原创 Titan学习笔记-初识
Titan 是一个在服务器集群搭建的分布式的图形数据库,特别为存储和处理大规模图形而优化。集群很容易扩展以支持更大的数据集,Titan有一个很好的插件式性能,这个性能让它搭建在一些成熟的数据库技术上像Apache Cassandra、Apache HBase、Oracle BerkeleyDB。插件式索引架构可以整合ElasticSearch和Lucene技术。内置实现Bluepri
2016-10-28 14:39:31 7465 14
多级层次行政区划相关的文件
2019-09-27
winutils.exe hadoop.dll
2014-10-18
java版mysql管理器 4.10.25.949java版mysql管理器 4.10.25.949
2010-09-23
eclipse快捷键eclipse快捷键eclipse快捷键
2010-09-23
[Effective.Enterprise.Java.中文版].Effective.Enterprise.Java.Chinese.eBook
2010-09-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人