import urllib2 class Spider: ''' 爬取一个网站,定义一个Spider类 ''' def load_page(self,page): ''' 定义一个发送url请求,下载HTML源码的成员方法,self表示当前对象 ''' #要请求的url地址 url = "https://tieba.baidu.com/f?kw=%E7%8E%AF%E5%A2%83&ie=utf-8&pn="+page #请求头user_agent user_agent = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" #创建一个字典,将请求头中的headers中'User_Agent':对应user_agent headers ={'User_Agent':user_agent} #新建一个请求,需要将请求中的headers变量换成我们创建好的headers req = urllib.Request(url,headers=headers) #请求服务器,得到响应 response = urllib2.urlopen(req) #得到响应的内容 html = response.read() #防止乱码 new_html = html.decode("gbk").encode("utf-8") return new_html #main if __name__ == "__main__": #创建一个Spider对象 myspider = Spider() #调用load_page()方法 page = myspider.load_page(0)