python数据爬虫代码_python如何示例爬虫代码

python爬虫代码示例的方法：首先获取浏览器信息，并使用urlencode生成post数据；然后安装pymysql，并存储数据到MySQL即可。

python爬虫代码示例的方法：

1、urllib和BeautifuSoup

获取浏览器信息from urllib import request

req = request.urlopen("http://www.baidu.com")

print(req.read().decode("utf-8"))

模拟真实浏览器：携带user-Agent头

(目的是不让服务器认为是爬虫，若不带此浏览器信息，则可能会报错)req = request.Request(url) #此处url为某个网址

req.add_header(key,value) #key即user-Agent，value即浏览器的版本信息

resp = request.urlopen(req)

print(resp.read().decode("utf-8"))相关学习推荐：python视频教程

使用POST

导入urllib库下面的parsefrom urllib import parse

使用urlencode生成post数据postData = parse.urlencode([

(key1,val1),