- 博客(2)
- 收藏
- 关注
RSS订阅
原创 【个人项目】基于scrapy-redis的股票分布式爬虫实现及其股票预测算法研究
前言 都说做计算机的，项目实践是最能带给人成长的。之前学习了很多的大数据和AI的知识，但是从来没有自己做过一个既包含大数据又包含AI的项目。后来就决定做了个大数据+AI的分布式爬虫系统。下面笔者会讲述整个项目的架构，以及所用到技术点的些许介绍。项目介绍这个项目是笔者的个人项目，是基于scrapy-redis框架的股票分布式爬虫框架实现。scrapy是个爬虫框架，但只允许单机的...
2018-09-10 23:44:35
2249
转载 spark多种运行模式【基于原理讲述】
1. 本地模式该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。如果是local[*]，则代表 Run Spark locally with as many worker threads as log...
2018-09-05 11:11:18
675
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人