- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 hadoop连接mongdb报错Exception authenticating
今天在新环境中部署hadoop项目,在调度作业的时候突然报了个错误。内容如下:17/07/12 11:25:54 INFO driver.cluster: Cluster created with settings {hosts=[10.56.69.173:27017], mode=MULTIPLE, requiredClusterType=UNKNOWN, serverSelecti
2017-07-12 15:53:59
729
原创 pyspider爬虫
### pyspider ## 架构 scheduler(调度器)-->fetcher(抓取器)-->processor(脚本执行)-->output 各个组件间使用消息队列连接,除了scheduler是单点的,fetcher 和 processor 都是可以多实例分布式部署的。 scheduler 负责整体的调度控制。任务由 scheduler 发起调度,fetcher 抓
2017-04-27 16:55:30
451
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人