![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 64
刘小航9527
不戴金箍我如何救你,戴上金箍我如何爱你
展开
-
datawhale爬虫(get与post)
学习get与post请求1.get获取请求:代码如下:requests:import requestsurl="http://www.baidu.com"x = requests.get(url)#获取请求x.encoding=x.apparent_encoding#网页内容转码,不会出现乱码print(x.text)#查看源码print(x.headers)联网状态下结果为:...原创 2019-02-28 22:54:37 · 1377 阅读 · 0 评论 -
datawhale爬虫
下面直接爬取所有数据:import requestsfrom bs4 import BeautifulSoupurl='http://www.dxy.cn/bbs/thread/626626#626626'headers = {'Accept':'*/*','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN','C...原创 2019-07-30 19:01:14 · 405 阅读 · 0 评论 -
datawhale爬虫(ip代理相关知识)
ip什么是ip:网络之间互连的协议外文是Internet Protocol的外语缩写,中文缩写为“网协”。缩写为IP。网络之间互连的协议也就是为计算机网络相互连接进行通信而设计的协议。在因特网中,它是能使连接到网上的所有计算机网络实现相互通信的一套规则,规定了计算机在因特网上进行通信时应当遵守的规则。任何厂家生产的计算机系统,只要遵守IP协议就可以与因特网互连互通。IP地址具有唯一性,根据用户...原创 2019-03-06 19:59:10 · 833 阅读 · 0 评论 -
python中cookie获取
在前面学习中,cookie似乎一直没通,今天发现了一个能够读取网页cookie的代码,分享给大家,同时记录,今天写代码遇到的一系列问题:python遇到‘\u’开头的unicode编码web信息中常会遇到“\u…\u…”类型的字符。首先’\u‘开头就基本表明是跟unicode编码相关的,“\u”后的16进制字符串是相应汉字的utf-16编码。python里decode()和encode()为我...原创 2019-03-08 18:58:18 · 4173 阅读 · 4 评论 -
python中beautifulsoup4库
爬虫学习(二)首先是 beautifulsoup4库的安装,直接打开命令提示符,输入pip install beautifulsoup4 测试库是否安装 下面测试import requestsr=requests.get("http://python123.io/ws/demo.html")print(r.text)demo=r.textfrom bs4 import Bea...原创 2018-08-02 16:22:15 · 3317 阅读 · 2 评论 -
datawhale爬虫(正则入门and第一个爬虫)
1.正则表达式基础介绍Python 的 re 模块(Regular Expression 正则表达式)提供各种正则表达式的匹配操作,和 Perl 脚本的正则表达式功能类似,使用这一内嵌于 Python 的语言工具,尽管不能满足所有复杂的匹配情况,但足够在绝大多数情况下能够有效地实现对复杂字符串的分析并提取出相关信息。Python 会将正则表达式转化为字节码,利用 C 语言的匹配引擎进行深度优先的...原创 2019-03-02 17:04:23 · 1502 阅读 · 0 评论 -
datawhale爬虫(seleniumm自动登陆163邮箱)
selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。selenium可以模拟真实浏览器,自动...原创 2019-03-05 17:05:44 · 1488 阅读 · 0 评论 -
python爬取豆瓣影评—《恶人传》
前面爬取过毒液影评,这段时间很多人找我要源码,我之前的代码已经遗失,所以重新做了下,分享给大家,希望帮到大家原创 2019-07-21 16:55:31 · 696 阅读 · 2 评论