20170717【笔记】第三讲:爬虫基础

写在前面:此笔记不全,只记了我现在不太会的东西

使用requests包抓取网页信息
注意:需要包装headers,否则服务器会识别到你是机器人。

ua = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
headers = {'user-agent': ua}

以上ua是怎样拿到的呢?
这里写图片描述

调试工具:

  • postman(可以先调试好,再写代码)
  • fiddler
  • charles

get函数带参数时,把参数当成dict传入

.json直接得到json格式(dict)(后台看到的都是字符串,我们看到的dict),免得用.text转换成dict

下载图片:

r = requests.get(url)
img = Image.open(BytesIO(r.content))
img.save('test.jpg')

根据后台的需要,选择用get还是post,一般用get的多。

超时处理?

编码问题(编码出问题时,再用以下代码进行解码编码)

b_text = text.decode('utf-8') # str -> bytes

s_text = b_text.encode('utf-8') # bytes -> str

命令行重定向:把sample.py的print输出重定向存入文件

$ python sample.py > a.txt

后续要讲的:

  • 登陆问题
  • cookies参数可以替换字符串,免得需要转换编码
  • selenium web解决js动态网页的问题
  • 多线程、分布式提高效率
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值