抓取数据需要注意什么

1.百度屏蔽你的ip地址，可以使用IP代理，模拟浏览器进行解决

3.抓取网站的黑名单，白名单

4.在百度里面搜索数据如果只有一页只解析一页便好，如果多页，需要解析不同页面的数据转化为dom

5.抓取数据需要设时间间隔进行抓取

6.需要建任务计划程序，进行部署exe文件

难点：

1.解析两个帖子的相似度，自动识别帖子是不是一个帖子

2.将抓取数据放到队列里面，利用先入先出，比较数据是否重复直接从队列里面取数据

3.抓取数据常用算法samhash