![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
dofy_
这个作者很懒,什么都没留下…
展开
-
python爬虫学习笔记(4)
学习pyquery后写的一个简单的爬虫代码from pyquery import PyQuery as pqimport requestsimport randomurl = "https://nc.newhouse.fang.com/house/s/b91/?ctm=1.nc.xf_search.page.1"h_list = [ {"User-Agent":"Mozilla/5.0"}, {"User-Agent":"Mozilla/4.0"},原创 2020-07-09 20:43:52 · 496 阅读 · 0 评论 -
python爬虫学习笔记(3)
python爬虫学习笔记(3)requests的基本使用GET请求headers参数params参数抓取二进制数据POST请求响应更多用法文件上传requests的基本使用requests库是Python的一个第三方库,不是自带的,使用时需要额外安装。但是使用Anaconda3好像它已经帮我们加入了这个库。如果没有的话可以打开anaconda的命令窗口,输入conda install requestsrequests库相当时对python中的urllib库的一个简单的包装,使用起来更加方便,快捷原创 2020-06-30 16:35:45 · 631 阅读 · 0 评论 -
python爬虫学习笔记(2)
python爬虫学习笔记(2)Get与Post请求getpost正则表达式贪婪匹配非贪婪匹配re的简单使用(获取想要的信息)matchsearchfindallcompilesub出现问题post请求中的data参数设定Get与Post请求get和post就是两种获取信息的方式,它不会显示的表现出来是get还是post请求,这个不同是体现在请求的方法之中的。get之前所学习的就全都时get相关的请求,从一个网站中获取某些信息,get想要请求的信息都将显现的展示在url上,就比说百度搜索时,你所搜索的原创 2020-06-23 18:28:41 · 173 阅读 · 0 评论 -
python爬虫学习笔记(1)
python爬虫学习笔记(1)环境配置urllib简单使用1.request模块urlopen()Request()2.parse模块urlencode()quote()遇到了问题html打开出现乱码进行百度搜索时,出现安全验证网页无法打开情况环境配置本人使用了anaconda3中的python3环境,进行爬虫的环境为anaconda中的spyder,使用anaconda具体详细原因及安装教程可见Anaconda3详细安装使用教程及问题总结urllib简单使用1.request模块request原创 2020-06-21 16:19:03 · 355 阅读 · 0 评论