colbert0ne的博客

原创 初次学习爬虫技巧

url用来接收网址，headers用于伪装，以防被网站识别出来。因为是我自己记录的，所以就不讲太仔细了。接下来 r 对网站发送请求，最后用html接收一下就行了。这样初步准备就完成了。目前学习爬虫学习引入了两个变量，分别为bs4和requests。目前我只用了jupyter notebook，所以先展示在他上面的爬虫代码。接下来就是对网站开始爬取了。因为是对评论的爬取，所以接下来先把他单独扒出来。先引入两个变量，bs4和requests。大一学生，初次学习爬虫，记录一下。然后就可以封装所要的前置代码了。