2017年07月_zxhyxwwu

08月 07月 06月 03月

原创 scrapy爬虫环境搭建

概述文件下载系统环境搭建和配置参考概述 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy-splash：第三方中间件来提供JS渲染服务，解决由js动态生成的HTML页面问题。文件下载 centos7下载（最新的docker服务依赖centos7），下载地址：http://www.ce

2017-07-17 18:24:41 1328

原创 kafka环境搭建及demo

概述文件下载系统环境搭建和配置kafka demo参考概述kafka是一个分布式的消息缓存系统kafka集群中的服务器都叫做brokerkafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消

2017-07-06 01:24:51 4086

原创 storm环境搭建及demo

概述文件下载系统环境搭建和配置storm demoQ&A参考概述Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计

2017-07-05 16:04:33 833