![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
xytywh
这个作者很懒,什么都没留下…
展开
-
爬虫时遇到的错误
根据微博关键字爬取微博内容的时候,url需要注意 这样可以 url = "https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D{}&page_type=searchall&page={}" #keyword是关键字,page是页数 response = requests.get(url...原创 2018-10-18 18:36:32 · 467 阅读 · 0 评论 -
关于爬虫的想法
1.要注意看爬取的内容是静态的还是动态的 判断方法: (1).直接看当前页面是不是需要下拉刷新,才有新内容,这样就是动态的,例如,微博就是动态的,豆瓣top250就是静态的。 (2).F12打开开发者模式,选Network,再刷新,打开第一条内容(就是当前的url,只不过省略了前面的部分。)然后看Preview,里面的代码要是比较简单,并且没有当前界面上的一些字,那就是动态的。或者F12打开开发者...原创 2018-10-15 21:44:34 · 199 阅读 · 0 评论