- 博客(2)
- 收藏
- 关注
RSS订阅原创 scrapy设置随机User-agent、scrapy爬取大量网页、设置爬虫请求并发数
对于爬虫攻城狮而言，爬虫的最大敌人就是反爬虫。在多次请求网页时(爬取大量url时)，避免被地方封锁掉，User-agent代理的随机跳变就成了反爬虫的的第一步也是必须的一步的拉。 一：设置随机User-agent(User-agent文件自行准备) scrapy里怎么随机跳变User-agent呢？当scrapy项目创建完成，执行爬虫程序时，首先会先读取setting文件...
2018-07-29 12:06:10
4823
原创 Spark实现SQL的count(*),count(distinct * *) 即pv、uv
自己上代码，如果不理解的地方，可以百度或留言import org.apache.spark.{SparkConf,SparkContext} /** * Created by zhang on 2018/6/29. */ object WordCount { def dealTime(line:String) ={ line.substring(0,10) } def ...
2018-07-03 16:04:06
8407
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人