python爬虫学习
程序员陈_明勇
一个热爱技术,喜欢专研技术的程序员。成功的路上并不拥挤,有没有兴趣结个伴?
展开
-
python requests模块
requests模块安装常用方法requests添加代理cookiesession处理不信任的SSL证书 安装 cmd命令行里安装 pip install requests 开发者工具里安装 常用方法 requests.get(url, params=None, **kwargs):以get的方式请求url,如果有参数则在后边添加对应参数 代码示例import requests url = 'https://www.baidu.com/s?' headers = { 'User-Ag原创 2020-07-11 18:08:46 · 431 阅读 · 0 评论 -
python实现有道翻译
初学爬虫,利用urllib模块实现有道翻译 import urllib.request import urllib.parse import json def main(): content = input('请输入要翻译的内容:') # 翻译地址 request_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' # data参数 data = {'i':原创 2020-07-11 15:14:51 · 1984 阅读 · 0 评论 -
python urllib模块
urllib模块urllib.request模块版本介绍常用方法响应对象urllib.parse模块常用方法请求方式 urllib.request模块 版本介绍 在python3.0之前,通常为urllib2、urllib结合使用 python3把urllib和urllib2合并成urllib.request 常用方法 urllib.request.urlopen(url):向url发送请求并获取响应 得到响应之后,response.read() -> 得到网页内容,编码为bytes 使用'r原创 2020-07-10 22:22:34 · 374 阅读 · 0 评论 -
python 爬虫初学的几个概念
GET和POST GET : 查询参数都会在URL上显示出来 POST : 查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来 URL组成部分 URL: 统⼀资源定位符 https://new.qq.com/omn/TWF20200/TWF2020032502924000.html https: 协议- new.qq.com: 主机名 port 端⼝号: 80 /new.qq.com 在他的后⾯有个 :80 可以省略 TWF20200/TWF2020032502924000.h原创 2020-07-10 21:41:24 · 248 阅读 · 0 评论