爬虫入门,尝试爬取百度贴吧

在看了鱼C论坛小甲鱼的视频后尝试着写了一段爬虫,发觉视频过去几年,有许多的方法不适用了.在咨询老师后得到一种更为简洁的方法:requests

mport requests     #最新用requests包爬取网站
import re
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
response = requests.get("https://tieba.baidu.com/p/5661415609",  headers = headers)
re1 = response.text
re2 = response.content

re1 为爬取网站默认转码后得到的文本
re2 为爬取网站二进制转码后得到的文本
会对re1 使用正则的方法进行搜取所需的资源.
实际在运用中也发现了现在网站反爬虫情况相当的常见,由于本人水平有限,爬取一两次后就会被网站采取反爬虫操作,只能采用代理ip的手段进行访问.