胡侃有料的博客

访问不同页面方法方法比较。

yield scrapy.Ruequest自定义函数中调用不被执行

every blog every motto: What doesn’t kill you makes you stronger.0. 前言简单记录一下1. 正文1.1 params1.1.1 getimport requests# getdic = {"name":'john',"gender":'1'}url = 'https://httpbin.org/get'res = requests.get(url,params=dic)print(res.text)1.1.2 p

every blog every motto: You will never know unless you try0. 前言用selenium进行自动化爬取信息时，遇到的问题1. 正文1.1 问题在用selenium，访问链接时，会打开一个新的选项卡（标签页），但有的（视频页）有时会独立出来一个，标签页，无法对其获取定位元素，也无法进行关闭。如下图所示：1.2 解决办法重新切换回刚才的选项卡就行， browser.get(link) browser.switch_to.window(b

every blog every motto: a bold attempt is half success0. 前言关于pyspider的安装及遇到坑的解决。个人感觉pyspider不是太稳定，一个简单的安装都要折腾好久，而且binux好像很久没更新了。废话不多说，下面进入正文。说明： 下面好像漏了一步，想不起来了，有空再补上吧。1. 正文1. 前期准备为了版本兼容问题需要用an...

every blog every motto: We would rather reuse an active dwarf than a sleeping giant.0. 前言关于selenium获取文本的几种方法小结。1. 正文1.第一种方法[1]driver.find_element_by_xpath("//div/h1").text2. 第二种方法 [2]temp = d...

every blog every motto: Although the world is full of suffering， it is full also of the overcoming of it0. 前言进行自动化测试时，常常需要点击元素，笔者在进行测试时，有时会遇到不可点击的问题，常常要在几种方法之间进行切换，遂进行小结，以备以后不时之需。1. 正文1.1 clicklo...

every blog every motto: Therefore ,send not to know for whom the bell tolls, It tolls for thee.前言：每天一个睡前小故事，给心爱的她（他）发一封啦啦啦库： requests、smtplib、bs4等环境： python3.7、ubuntu16.04所需知识： python基础语法、reque...

every blog every motto: Let’s be loyal to our ideals, let’s face reality-Chegwara前言：知难不难！折腾了几天爬取大众点评的数据，在这顺便总结一下，重新整理一下思路。希望能帮助那个此时正在奋斗的你，你并不是一个人在战斗！正文：现在大众点评采取了css反爬机制，爬取难度越来越大。目前只有店铺名是明文（如图一） ...