![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 51
田野啸风
双手敲出简单的快乐
展开
-
解决方案:爬虫被反爬,检测出是selenium,报400,无法进入网站
一、报错:1.报错截图:2.报错截图对应的代码:from selenium import webdriverimport timeclass Crawl_ZhuanLi(object): def __init__(self): chromeoption = webdriver.ChromeOptions() # chromeoption.add_argument('--headless') # 无头浏览器 chromeoption.a原创 2021-05-28 16:25:30 · 15178 阅读 · 30 评论 -
selenium chromdriver 中 click点击失效-解决案例
一、案例:1.试图模拟点击的目标:2.对应Html:3.无效代码示例:(注意:此处的a标签是通过js实现的点击效果,单纯的click是无效的)self.driver.find_element_by_xpath('/html/body/div[10]/div[2]/div[2]/div[1]/div[3]/a[1]').click()二、解决方案:1.当鼠标上移时,页面如图:2.有效代码: element_refresh = self.driver.find_element_by_x原创 2021-05-21 18:28:53 · 866 阅读 · 0 评论 -
如何验证代理IP是否生效
from selenium import webdriverimport requestschrome_options = webdriver.ChromeOptions()# 代理IP(代理IP具有时效性,大多数免费的代理ip几分钟可能就失效了)proxy = '125.162.152.133:80'# 设置代理chrome_options.add_argument('--proxy-server=%s' % proxy)# 注意options的参数用之前定义的chrome_option原创 2021-05-19 10:40:28 · 4353 阅读 · 0 评论 -
Python3 从MySQL获取数据
1.待获取信息(MySQL):2.核心代码:import pymysqlif __name__ == "__main__": config = { 'host':'localhost', 'port':3306, 'user':'localhost', 'password':'123456', 'database':'hx_users', } try: con原创 2021-03-25 09:16:18 · 392 阅读 · 0 评论 -
用Python做爬虫时,提取Excel数据
最近做爬虫时,需要根据excel里的数据进行爬取,在此记录一下excel里的数据如何导入,代码如下:import xlrddata = xlrd.open_workbook(r'此处为excel文件.xlsx') #默认当前路径# 获取所有的sheetsheet_name = data.sheet_names()[0]# 根据sheet索引或者名称获取sheet内容sheet ...原创 2019-07-15 17:35:36 · 4127 阅读 · 0 评论