爬虫
光亮那方
这个作者很懒,什么都没留下…
展开
-
python爬虫(二)
BeautifulSoupbeautifulsoup中文官方文档博主曾经花时间将官方文档从头到尾看了一遍,结果是没几天就忘光光,之后幡然醒悟,官方文档是用来查的,不是用来记的,遇到问题查一下慢慢就有印象!爬取丁香园论坛回复from bs4 import BeautifulSoupimport requestsheaders = {"User-Agent": "Mozilla/5.0 (...原创 2019-08-08 21:07:18 · 162 阅读 · 0 评论 -
python爬虫(一)
get与post印象中get是请求数据,post是提交数据,然后博主在网上查了这个问题,一些比较深入的原理性的解释并没有看懂,所以下面放的是w3school给的二者之间的差别,日后真正需要理解原理再看原理1.get/test/demo_form.asp?name1=value1&name2=value2//get请求的参数可以直接在网址中看到2.postPOST /test/...原创 2019-08-07 10:14:06 · 159 阅读 · 0 评论 -
python爬虫selenium (三)
selenium基本操作图片来自@huilai_sameselenium初体验from selenium import webdriverbrowser = webdriver.Chrome()browser.get("http://www.google.com")会自动打开谷歌浏览器进入首页selenium模拟登陆163邮箱import timefrom selenium...原创 2019-08-11 00:20:48 · 88 阅读 · 0 评论 -
python爬虫(四)——模拟登录丁香园
实战实战小项目:模拟登录丁香园,抓取论坛页面人员基本信息与回复帖子。丁香园论坛:http://www.dxy.cn/bbs/thread/626626#626626思路首先把登陆方式由扫码切换为账号密码登陆js1 = 'document.querySelector("#j_loginTab1").style.display="none";'browser.execute_script...原创 2019-08-13 09:51:52 · 330 阅读 · 0 评论