利用selenium进行爬虫

最新推荐文章于 2024-05-10 16:25:53 发布
最新推荐文章于 2024-05-10 16:25:53 发布
阅读量930 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38092754/article/details/78740758
版权

1.selenium之常用函数

可参考网站：http://blog.sina.com.cn/s/blog_b5fe6b270101caub.html

2.简单示例1

首先利用webdriver进行登录

# coding=utf-8
from __future__ import print_function
from __future__ import print_function
import random
import time
import sys
from lxml import etree

from selenium import webdriver


class login_qxbao:
    search_index_url = 'http://..........'
    sleep_time = 25
    count = 3
    warning_sleep_time = 1

    def set_sleep_time(self,sleep_time):
        self.sleep_time = sleep_time

    def __init__(self,user_name,password):
        reload(sys)
        sys.setdefaultencoding('utf-8')
        self.user_name = user_name
        self.password = password
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
            'Accept-Charset': 'utf-8',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0',
            'Connection': 'keep-alive'
        }

        # set custom headers
        # for key, value in headers.iteritems():
        #     webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value
        #
        # # another way to set custome header
        # webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.settings.userAgent'] = \
        #     'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
        # cookies = [{u'domain': u'.1688.com', u'name': u'_tmp_ck_0', u'value': u'"Us6kfQ%2FxEOMq9lhAtSelFmv8mznbShBBPr2RR8pIaaGLchk4XmAJZW2jrs8vaUuurfLuDckResTvRwwcuYeoxabRj7NVBN9UpqQvfFUTs0kaiPUpBa%2Fh3VE9YATmnGdeC3iiReTQez%2FGiepCVFL8heieT5B0y%2BbPx7F8hK4VbnmG8bzRhOaJNDCnTrL%2BHzNt8M1U9kLhw2wPKb2RTQ6lR8mK600ST6DoAG3dvUFRUzhbArkUsVrYNyKzsaKy3sj4v7ASwWWPgOviubFRqAtvgHCSjZGXDKHq93mHzSuNQVdCdGXZ9g2xPL3gJiExxoZmsN%2F5hGRKNLQPtW0CebpxHIwdzcGx6YhbgYj8M%2BfFXtBNL6YU3I5mvgZkUnEMAnXOrEtF4UXSgY2QaCpoWhqxRDlwZfJZWsMwRdtjZln6UI1g9KZHR3ZjkttgPsVVMU4oEXzqva%2FgSosNnuzVClFjz%2FiGAqncrJssmCeDhN6BHIxEnf%2BKAHQuu1d%2B1IqYGQGMm6KNmfKT0VE5rhUV6wRdOrSQjrw9OwBauHK%2FHemGzRM%2FErORex%2FIjA%3D%3D"', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'isg', u'expires': u'\u5468\u4e00, 26 2\u6708 2018 11:00:22 GMT', u'value': u'AlZW_TCNE4eGbScjapynvRKlqwpY95ox0Ib-38C_QjnUg_YdKIfqQbzxyyWQ', u'expiry': 1519642822, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'ali_ab', u'expires': u'\u5468\u516d, 28 8\u6708 2027 11:00:23 GMT', u'value': u'116.231.50.80.1504090823466.0', u'expiry': 1819450823, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'__rn_alert__', u'expires': u'\u5468\u4e09, 30 8\u6708 2017 13:00:23 GMT', u'value': u'false', u'expiry': 1504098023, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_show_user_unbind_div_', u'expires': u'\u5468\u4e09, 30 8\u6708 2017 13:00:23 GMT', u'value': u'b2b-33847824257114b_false', u'expiry': 1504098023, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_show_sys_unbind_div_', u'expires': u'\u5468\u4e09, 30 8\u6708 2017 13:00:23 GMT', u'value': u'b2b-33847824257114b_false', u'expiry': 1504098023, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_show_force_unbind_div_', u'expires': u'\u5468\u4e09, 30 8\u6708 2017 13:00:23 GMT', u'value': u'b2b-33847824257114b_false', u'expiry': 1504098023, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_is_show_loginId_change_block_', u'expires': u'\u5468\u4e09, 30 8\u6708 2017 13:00:22 GMT', u'value': u'b2b-33847824257114b_false', u'expiry': 1504098022, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_nk_', u'value': u'jWReyNHZ0aDcg5sJxm1jOQ%3D%3D', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'userIDNum', u'value': u'UarHITWxPOpPRROfEcBM2w%3D%3D', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'work.1688.com', u'name': u'CNZZDATA1253645563', u'expires': u'\u5468\u4e09, 28 2\u6708 2018 11:00:20 GMT', u'value': u'331431613-1504086350-%7C1504086350', u'expiry': 1519815620, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'UM_distinctid', u'expires': u'\u5468\u4e09, 28 2\u6708 2018 11:00:20 GMT', u'value': u'15e32cc914aa4e-0d209db3b-3d710557-c0000-15e32cc914b1ce', u'expiry': 1519815620, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'cna', u'expires': u'\u5468\u516d, 28 8\u6708 2027 11:00:20 GMT', u'value': u'sogtEs0JanwCAWVRSIcgBJzt', u'expiry': 1819450820, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.work.1688.com', u'name': u'landingPage', u'expires': u'\u5468\u56db, 31 8\u6708 2017 11:00:21 GMT', u'value': u'home', u'expiry': 1504177221, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_csrf_token', u'value': u'1504090821188', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'login', u'value': u'"kFeyVBJLQQI%3D"', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'__last_loginid__', u'expires': u'\u5468\u56db, 30 8\u6708 2018 11:00:21 GMT', u'value': u'bigbigboat211', u'expiry': 1535626821, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'unb', u'value': u'3384782425', u'path': u'/', u'httponly': True, u'secure': False}, {u'domain': u'.1688.com', u'name': u'last_mid', u'expires': u'\u5468\u56db, 30 8\u6708 2018 11:00:21 GMT', u'value': u'b2b-33847824257114b', u'expiry': 1535626821, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'userID', u'value': u'"Msniix6jVnZxQHXN8nG07sOawn3tOWGcy4ULOvjgKZs6sOlEpJKl9g%3D%3D"', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'LoginUmid', u'value': u'"5ZpCLQ3e2tLbWJcO1HCnhL%2BWgC4oJa8QK%2BqJuE45mdRTAhztWl1ziA%3D%3D"', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'tbsnid', u'value': u'NaLC%2FReNzlFlLdei4kucBwPZ64tSCpDCnIE7iWaJDPA6sOlEpJKl9g%3D%3D', u'path': u'/', u'httponly': True, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_cn_slid_', u'expires': u'\u5468\u56db, 30 8\u6708 2018 11:00:20 GMT', u'value': u'"gmQwZB7%2F5s"', u'expiry': 1535626820, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'cn_tmp', u'value': u'"Z28mC+GqtZ3iqYC9nr53wDX5nzG9aojsR6zg8x0QEmNFb80Bvk9OloKdGBOR4AXIZI3msIR4KPCBXv5WoBs/m4cAU1SYnP4MZIbK5UiM8ztH9D6qhBT4ds9KkQUmgQeMN5STtUT1NlcIjqWQdwpkg8NZ+3xZeNfS+2sSkThUf7sUKG8LXZM4ZGRW2qzbqoka9zcbr0XWylLb/Y7LoOzONh+eGQ06rv1HsdkOqhUv6qJHtIaAcdqw+V3CgXcOTPsDAU/XDyhFDG0="', u'path': u'/', u'httponly': True, u'secure': False}, {u'domain': u'.1688.com', u'name': u'ali_apache_tracktmp', u'value': u'"c_w_signed=Y"', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'ali_apache_track', u'expires': u'\u5468\u4e94, 30 10\u6708 2020 20:46:59 GMT', u'value': u'"c_ms=1|c_mt=3|c_mid=b2b-33847824257114b|c_lid=bigbigboat211"', u'expiry': 1604090819, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'__cn_logon_id__', u'value': u'bigbigboat211', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'__cn_logon__', u'value': u'true', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'sg', u'value': u'15d', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'_tb_token_', u'value': u'e35e01438737e', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u't', u'value': u'6fa331bfdee25339d5d80a3f603ffa2d', u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'uss', u'expires': u'\u5468\u4e94, 29 9\u6708 2017 11:00:21 GMT', u'value': u'UIY7U4r6se2NUwDlEKiH66ReAQvcgRWV2BrOYF6XmW8qFWLxyBykjhhYIg%3D%3D', u'expiry': 1506682821, u'path': u'/', u'httponly': False, u'secure': False}, {u'domain': u'.1688.com', u'name': u'cookie17', u'value': u'UNN104VsRvERkg%3D%3D', u'path': u'/', u'httponly': True, u'secure': False}, {u'domain': u'.1688.com', u'name': u'cookie2', u'value': u'183b1d42484d36813fb5bc6711964f9c', u'path': u'/', u'httponly': True, u'secure': False}, {u'domain': u'.1688.com', u'name': u'cookie1', u'value': u'UNiFr1LFdZbbKQmC%2F1BneIMVzfxsyBDmJGfMSJXCQLg%3D', u'path': u'/', u'httponly': True, u'secure': False}, {u'domain': u'.1688.com', u'name': u'JSESSIONID', u'value': u'9L78ohHi1-E6GYNWeHAFTDS2CP39-AonVmTQ-3a3U', u'path': u'/', u'httponly': False, u'secure': False}]
        # for cookie in cookies:
        #     try:
        #         self.dr.add_cookie(cookie)
        #     except Exception as e:
        #         pass
        #start_url = "https://detail.tmall.com/item.htm?id=540212526343"
        # PROXY = "***.43.***.22:12394"
        # chrome_options = webdriver.ChromeOptions()
        # chrome_options.add_argument('--proxy-server=%s' % PROXY)
        # self.dr = webdriver.Chrome(
        #     executable_path='/Users/zmj/Documents/chromedriver',
        #     chrome_options=chrome_options)
        #执行chromedriver
        self.dr = webdriver.Chrome("。。:/chromedriver.exe")
        # self.dr.set_page_load_timeout(10)
        # # 设置10秒脚本超时时间
        # self.dr.set_script_timeout(10)

        # self.dr.delete_all_cookies()
        # self.dr.set_window_size(1280, 2400)  # optionalwindowHandle='current'
        #登录界面的网址
        self.url = 'http://www......com/auth/login?return_url=%2F'
        self.dr.delete_all_cookies()
        self.dr.get(self.url)
        self.get_cookies()

    def get_cookies(self):
        try:
            self.dr.get(self.url)
            time.sleep(1)
            self.dr.find_element_by_xpath("/html/body/div[2]/div/div/div[2]/div/div/div/div/div[1]/input").clear()
            self.dr.find_element_by_xpath("/html/body/div[2]/div/div/div[2]/div/div/div/div/div[2]/input").clear()
            self.dr.find_element_by_xpath("/html/body/div[2]/div/div/div[2]/div/div/div/div/div[1]/input").send_keys(self.user_name)
            time.sleep(1)
            self.dr.find_element_by_xpath("/html/body/div[2]/div/div/div[2]/div/div/div/div/div[2]/input").send_keys(self.password)
            time.sleep(1)
            self.dr.find_element_by_xpath("/html/body/div[2]/div/div/div[2]/div/div/div/div/div[4]/a").click()
            time.sleep(1)
            #cookies = self.dr.get_cookies()
            #print("cookie = %s" % str(cookies))
            #print(self.dr.page_source)#
        except Exception as e:
            print(e)

    def click_by_contains_url(self,url):
        html = ''
        if url is None or len(str(url))<5:
            print(url + 'is not url')
            return html
        url = url.split('?')[0]
        index = 0
        html = ''
        while self.count >= index:
            try:
                click_element = self.dr.find_element_by_xpath("//a[contains(@href, '" + str(url) + "')]")
                html = self.excute_click(click_element)
                if html is None or len(html)<10:
                    index += 1
                    time.sleep(3)
                else:
                    return self.dectected_click_status(html,click_element)
            except Exception as e:
                print(url)
                print(str(url) + " is not exists " + str(e))
                index += 1
                time.sleep(3)
        return html

    def click_by_text(self,text):
        html = ''
        index = 0
        while self.count >= index:
            try:
                click_element = self.dr.find_element_by_link_text(text)
                html = self.excute_click(click_element)
                if html is None or len(html)<10:
                    index += 1
                    time.sleep(3)
                else:
                    return self.dectected_click_status(html, click_element)
            except Exception as e:
                print(text)
                print(str(text) + " is not exists " + str(e))
                index += 1
                time.sleep(3)
        return html

    def excute_click(self,url):
        html = None
        all_handles = self.dr.window_handles
        window_size = len(all_handles)
        try:
            if url is not None and str(url).find('element') >= 0:
                js = "q=document.documentElement.scrollTop=" + str(url.location.get('y') - 100)
                self.dr.execute_script(js)
                time.sleep(0.5)
                js = "q=document.documentElement.scorllleft=" + str(url.location.get('x'))
                self.dr.execute_script(js)
                time.sleep(0.5)
                url.click()
                time.sleep(self.get_time_sleep())
                all_handles = self.dr.window_handles
                new_window_size = len(all_handles)
                if new_window_size > window_size:
                    self.dr.switch_to_window(all_handles[len(all_handles) - 1])
                html = self.dr.page_source
            else:
                print(url + str('is not exists'))
        except Exception as e:
            print(str(url) + " is not exists " + str(e))
        return html

    def excute_url(self, url):
        html = ''
        try:
            all_handles = self.dr.window_handles
            window_size = len(all_handles)
            self.dr.get(url)
            time.sleep(self.get_time_sleep())
            js = "var q=document.documentElement.scrollTop=100000"
            self.dr.execute_script(js)
            all_handles = self.dr.window_handles
            new_window_size = len(all_handles)
            if new_window_size > window_size:
                self.dr.switch_to_window(all_handles[len(all_handles) - 1])
            html = self.dr.page_source
        except Exception as e:
            print(e)
        return html

    def dectected_click_status(self,html,url):
        html_new = html
        while True:
            status = self.detected_status(html_new)
            if status > 0:
#                self.dr.back()
                time.sleep(self.warning_sleep_time)
                html_new = self.excute_click(url)
            else:
                return html_new
    def element_click(self,url):
        self.dr.find_element_by_xpath(url).click()
        html = self.dr.page_source
        time.sleep(5)
        return html

    def detected_url_status(self,html,url):
        html_new = html
        while True:
            status = self.detected_status(html_new)
            if status > 0:
                #self.dr.back()
                time.sleep(self.warning_sleep_time)
                html_new = self.excute_url(url)
            else:
                return html_new

    def excute_chrome_url(self,url):
        try:
            html = self.excute_url(url)
            return self.detected_url_status(html,url)
        except Exception as e:
            print(e)
    #诊断状态
    def detected_status(self, html):
        status = self.is_301(html)
        if status > 0:
            return status
        status = self.is_captcha(html)
        if status > 0:

            return status
        status = self.is_404(html)
        if status > 0:
            return status
        return 0

    def is_301(self, html):
        try:
            xpath = html.xpath('//*[@id="msgTip"]')[0].text
            if xpath.find('登录') >= 0:
                self.logger.error("302")
                return 301;
            else:
                return 0;
        except Exception as e:
            pass
        return 0;

    def is_404(self, html):
        try:
            xpath = html.xpath('//*[@id="msgTip"]')[0].text
            if xpath.find('登录') >= 0:
                self.logger.error("302")
                return 404;
            else:
                return 0;
        except Exception as e:
            pass
        return 0;

    def is_captcha(self, html1):
        try:
            html = etree.HTML(html1)
            xpath = html.xpath('//*[@id="query"]/div[1]/p[3]/label')[0].text
            if xpath.find('验证码') >= 0:
                #time.sleep(3600)
                self.logger.error("302")
                return 302;
            else:
                return 0;
        except Exception as e:
            pass
        return 0
    #时间延迟
    def get_time_sleep(self):
        return self.sleep_time+int(random.uniform(1, 5))
    #设置睡眠时间
    def set_sleep_time(self, t):
        self.sleep_time = t
    #获取title
    def get_page_title(self):
        return self.dr.title

    def delte_panthomjs(self):
        try:
            self.dr.quit()
        except Exception as e:
            pass

    def close(self):
        while True:
            all_handles = self.dr.window_handles
            window_size = len(all_handles)
            if window_size > 1:
                self.dr.close()
                time.sleep(1)
                all_handles = self.dr.window_handles
                window_size = len(all_handles)
                self.dr.switch_to_window(all_handles[window_size - 1])
            else:
                self.dr.switch_to_window(all_handles[window_size - 1])
                return

    ########二维码识别#####
    
    def get_captch_img(self):
        try:
            self.dr.save_screenshot('screenshot.png')
            time.sleep(0.2)
            c = self.dr.find_element_by_xpath('//*[@id="checkcodeImg"]')
            x = c.location.get('x')
            y = c.location.get('y')
            xx = x + c.size.get('width')
            yy = y + c.size.get('height')
            im = Image.open('screenshot.png')
            im = im.crop((x, y, xx, yy))
            im.save('captch.png')
            f = open('captch.png', 'rb')  # 二进制方式打开图文件
            ls_f = base64.b64encode(f.read())  # 读取文件内容，转换为base64编码
            f.close()
            text = urllib.urlopen('http://121.43.173.22:8070/taobao/captch?img='+str(quote(ls_f))).read()
            if text is None or len(text)==0:
                return 'fdss'
            else:
                text = str(text).replace('"','').replace(' ','').replace('\n','')
            self.dr.find_element_by_id("checkcodeInput").clear()
            self.dr.find_element_by_id("checkcodeInput").send_keys(text)
            time.sleep(1)
            self.dr.find_element_by_xpath('//*[@id="query"]/div[2]/input').click()
            time.sleep(0.5)
        except Exception as e:
            print (e)







 ###########开始利用xpath进行爬虫
# coding=utf-8
import sys
from lxml import etree
from login_qixinbao import login_qxbao
from urllib import urlencode
from selenium import webdriver
import datetime
import traceback

class get_qxbao:

    def __init__(self, request,page_num):
        classi = '****'
        self.start_url = 'http://www.qixin.com/search'
        self.request = request
        self.classi = classi
        self.page_num = page_num
        # self.dr = webdriver.Chrome("。。。\chromedriver.exe")
        reload(sys)
        sys.setdefaultencoding('utf-8')

    def get_html_new(self, search_url):
        html1 = self.request.excute_chrome_url(search_url)
        html = etree.HTML(html1)
        return html

    def get_search_url(self,company,num):
        # kw = company.encode(encoding='utf-8')
        kw = urlencode({'key':company})
        search_url = self.start_url + '?' + kw + '&' + 'page=' + str(num)
        return search_url

    def first_info(self):
        list_all = []
        for j in range(1,self.page_num+1):
            # 得到加入关键词之后的url地址
            search_url = self.get_search_url(self.classi,j)
            #返回url对应的html
            html = self.get_html_new(search_url)
            cnt = len(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/*'))
            list_one = []
            for i in range(1,cnt+1):
                list_mid = []
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[2]/div[1]/div[1]' % i)[0].xpath('string(.)'.decode('utf-8')))
                except:
                    pass
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[2]/div[1]/div[2]' % i)[0].text[6:])
                except:
                    pass
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[2]/div[1]/div[3]/span[1]/text()' % i)[0][4:])
                except:
                    pass
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[2]/div[1]/div[3]/span[2]/a' % i)[0].text)
                except:
                    pass
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[2]/div[1]/div[4]/span/text()' % i)[0][4:])
                except:
                    pass
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[3]/div[1]' % i)[0].text)
                except:
                    pass
                try:
                    list_mid.append(html.xpath('/html/body/div[5]/div/div[1]/div[3]/div[2]/div[%d]/div[3]/div[2]' % i)[0].text)
                except:
                    pass
                list_one.append(list_mid)
            list_all.extend(list_one)
        return list_all

def test():
    request = login_qxbao('******','*******')
    gp = get_qxbao(request,page_num=2)
    list_test = gp.first_info()
    print list_test























                

        

        

    




    

      

        

            

              
                
                  weixin_38092754
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python利用selenium进行浏览器爬虫

				
			

			

				

					09-19
				

			

		

		

			
				
本文将深入探讨如何利用Selenium进行浏览器爬虫，帮助你掌握更高级的爬虫技术。  ### 前言 在初学爬虫时，我们通常会使用requests和BeautifulSoup等库，它们能够很好地抓取静态网页的内容。然而，当遇到需要登录、...

			
		

	



                

              
                



	

		

			

				
					
Selenium 爬虫笔记

				
			

			

				

					11-06
				

			

		

		

			
				
这个笔记将深入探讨如何利用Selenium进行网页数据抓取，以及它在处理动态加载内容、登录验证和模拟用户交互等方面的优势。  ### 1. Selenium 简介  Selenium 支持多种编程语言，如Python、Java、C#等，通过WebDriver...

			
		

	



                


  
              

                


	

		

			

				
					
ozon的数据在哪里看，ozon数据怎么看

				
			

			

				

					menglaOZON的博客
				

				

					05-09
					
					690
					
				

			

		

		

			
				
这些工具通常具有更丰富的功能和更灵活的定制选项，可以根据卖家的需求提供个性化的数据分析服务。但是，在使用第三方数据分析工具时，卖家需要注意选择可信赖的工具提供商，以确保数据的准确性和安全性，萌啦ozon数据就是一个很不错的选择。点击进入后，您可以看到包括销售数据、流量数据、评价数据等在内的多种数据报告。那么，Ozon的数据在哪里看？通过分析这些关联关系，您可以更深入地了解数据背后的原因和规律，从而制定更有效的销售策略和运营方案。在查看数据时，不仅要关注单个数据点的数值大小，还要关注数据的变化趋势。

			
		

	





	

		

			

				
					
OZON数据爬虫：揭秘电商平台的无尽宝藏

				
			

			

				

					menglaOZON的博客
				

				

					01-20
					
					823
					
				

			

		

		

			
				
因此，卖家应注重数据的获取和分析，不断提升自身的竞争力。对于跨境电商卖家而言，OZON数据爬虫是一款强大的工具，能够帮助他们深入挖掘OZON平台上的数据宝藏，为业务发展提供有力支持。OZON数据爬虫是一款自动化程序，能够快速抓取OZON平台上的商品信息、销售数据、用户行为等海量数据。通过OZON数据爬虫，卖家可以轻松获取到竞争对手的商品信息、销售数据和排名情况，为自己的选品、定价和营销策略提供有力支持。通过OZON数据爬虫，卖家可以抓取到竞争对手的商品信息、销售数据和排名情况，了解竞争对手的优势和劣势。

			
		

	



		

			
		



	

		

			

				
					
【Python】selenium爬虫常见用法和配置，以及常见错误和解决方法

					
最新发布

				
			

			

				

					小5聊的博客
				

				

					05-10
					
					1868
					
				

			

		

		

			
				
有时候我们需要爬取一些数据进行分析和测试，
对于Python而言，selenium插件是爬虫最佳选择，
本篇文章将简单列一些常见错误和解决方法。
温馨提示，合理使用爬虫，任何技术都有利有弊，适当就好。

			
		

	





	

		

			

				
					
Python爬虫基础之Selenium详解

				
			

			

				

					程序园@大Null
				

				

					10-17
					
					1万+
					
				

			

		

		

			
				
围绕 Selenium 库展开讲解如何使用自动化工具操作浏览器。

			
		

	





	

		

			

				
					
建议收藏！超详细的selenium爬虫使用教程！你想知道的都在这里！

				
			

			

				

					大模型研究中心
				

				

					09-22
					
					9109
					
				

			

		

		

			
				
在我们深入探讨Selenium的多个方面之后，很重要的一点是认识到，像所有工具一样，Selenium在使用时需要遵循一些基本的注意事项和最佳实践。此外，网页抓取和自动化不仅受到技术限制，还受到法律和道德的约束。注意事项与最佳实践尊重Robots.txt: 大多数网站都有一个robots.txt文件，其中指定了哪些页面可以爬取，哪些不可以。尽管Selenium不像其他爬虫库那样自动遵循它，但你仍应当遵守其规定。不过度请求: 大量的快速连续请求可能会导致服务器过载，甚至可能导致你的IP被封锁。

			
		

	





	

		

			

				
					
Python + selenium爬虫实例

				
			

			

				

					weixin_42946604的博客
				

				

					01-12
					
					5041
					
				

			

		

		

			
				
1、安裝selenium
命令行：pip install selenium  敲回车

2、下載chromedriver插件，對應自己的版本
鏈接在此：http://chromedriver.storage.googleapis.com/index.html

直接放在Python的Scripts目录下就可以不能配置变量了，而且也不用声明路径
（后面会说到）
3、安裝pyquery  一样的用到p...

			
		

	





	

		

			

				
					
Python爬虫之selenium可视化爬虫!最详细的教程！

				
			

			

				

					爬遍所有网站
				

				

					09-27
					
					1万+
					
				

			

		

		

			
				
之所以把selenium爬虫称之为可视化爬虫

主要是相较于前面所提到的几种网页解析的爬虫方式

selenium爬虫主要是模拟人的点击操作

selenium驱动浏览器并进行操作的过程是可以观察到的

就类似于你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑

当然了，selenium也有无界面模式

快速入门

selenium基本介绍:

selenium 是一套完整的web应用程序测试系统，

包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Con

			
		

	





	

		

			

				
					
python selenium爬虫

				
			

			

				

					m0_49085222的博客
				

				

					11-14
					
					4531
					
				

			

		

		

			
				
python selenium爬虫
1 前言
博主是一名经管研究生，以自身经历为例。如今大学生写论文大部分都需要数据支撑来论证研究结果，数据除了从数据库直接下载外，有些是需要通过网络爬虫来获得。网络爬虫有很多方法，本文主要介绍selenium爬虫， 版本为python3.6。
2 爬虫
前几天有室友让我爬一个网址：
http://bank.jrj.com.cn/bankpro/data.shtml?type=1&wd=%D1%F8%C0%CF



要求是将所有产品的专业评级、购买信息、收益指标等信

			
		

	





	

		

			

				
					
利用selenium爬虫抓取数据的基础教程

				
			

			

				

					12-31
				

			

		

		

			
				
几个月前，记得群里一朋友说想用selenium去爬数据，关于爬数据，一般是模拟访问某些固定网站，将自己关注的信息进行爬取，然后再将爬出的数据进行处理。  他的需求是将文章直接导入到富文本编辑器去发布，其实这也是...

			
		

	





	

		

			

				
					
python爬虫利用selenium爬取淘宝和京东商品信息

				
			

			

				

					01-19
				

			

		

		

			
				
python爬虫利用selenium爬取淘宝和京东商品信息。实现了无头浏览器进行爬取，即不需要启动自己的浏览器即可完成爬取信息的功能，而且避免了网站的反爬机制。python爬虫利用selenium爬取淘宝和京东商品信息。实现了...

			
		

	





	

		

			

				
					
Ozon Tech Challenge 2020 (Div.1 + Div.2）

				
			

			

				

					一身清贫怎敢入繁华
				

				

					03-04
					
					379
					
				

			

		

		

			
				
A
直接将两个数组从小到大排序输出。
B
题意：是给你一个括号序列，里面由若干个′(′'('′(′和若干个′)′')'′)′，现在让你选若干子序列，这个子序列是偶数，前一半是′(′'('′(′后一半是′)′')'′)′，然后问你最少需要多少操作删除若干子序列后就不存在这样的序列。
思路：
答案只能为1或者0，因为子序列是形如(((())))(((())))(((())))这种情况，所以我们双指针前...

			
		

	





	

		

			

				
					
selenium爬虫

				
			

			

				

					qq_45700494的博客
				

				

					03-09
					
					2167
					
				

			

		

		

			
				
** ## 基于selenium对谷歌浏览器信息进行自动爬取
代码前提是用对谷歌版本和drive插件，自己配置selenium库
**
要求：进入中国文书网，实现自动登录，并在搜索框中输入“判决书”，进入新界面后，对当前界面的新链接进行点击，进入内容网页，对其html进行爬取，爬取后关闭链接，执行翻页操作，直到到指定页码
记下来是视频演示：
以下是代码展示，还没有将html中的信息转为word格式
（其中自动登录的账号密码信息也已经更改）
# -*- codeing=utf-8 -*-
# @Time :2

			
		

	





	

		

			

				
					
python--爬虫--selenium的简介和使用

				
			

			

				

					直到世界的尽头
				

				

					12-09
					
					4547
					
				

			

		

		

			
				
selenium简介
什么是selenium
selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。
selenium模块本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器；
selenium爬虫称之为可视

			
		

	





	

		

			

				
					
使用selenium完成爬虫操作（仅供学习使用）

				
			

			

				

					qq_48276142的博客
				

				

					05-16
					
					670
					
				

			

		

		

			
				
使用selenium完成爬虫操作
示例:获取京东的信息
Xpath方法
"""
long long away
Date:2022/5/16 15:17
"""
from selenium.webdriver import Chrome,ChromeOptions
from selenium.webdriver.common.keys import Keys
import time,csv
from lxml import etree

# 1.创建配置对象
options = ChromeOptions()

			
		

	





	

		

			

				
					
Python使用selenium进行爬虫（一）

					
热门推荐

				
			

			

				

					asd529735325的博客
				

				

					05-18
					
					1万+
					
				

			

		

		

			
				
    JAVA爬虫框架很多，类似JSOUP，WEBLOGIC之类的爬虫框架都十分好用，个人认为爬虫的大致思路就是：1、挑选需求爬的URL地址，将其放入需求网络爬虫的队列，也可以把爬到的符合一定需求的地址放入这个队列中2、获取一个url进行DNS解析，获取其主机IP3、针对这个url地址将其页面加载下来（也就是这个页面的html或者jsp）加载下来，不同的框架有不同的页面处理方法，和抽取有用信息的...

			
		

	





	

		

			

				
					
selenium在爬虫中的使用

				
			

			

				

					冰山一树Sankey的博客
				

				

					03-03
					
					1936
					
				

			

		

		

			
				
selenium在爬虫中的使用
一. selenium概述
1.1 定义
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成爬虫的编写。
1.2 作用与工作原理
利用浏览器原生的API，封装成一套更加面向对象的Selenium WebDriver API，直接操作浏览器页

			
		

	





	

		

			

				
					
Python之Selenium自动化爬虫

				
			

			

				

					Harris-H的博客
				

				

					01-20
					
					1万+
					
				

			

		

		

			
				
文章目录Python之Selenium自动化爬虫0.介绍1.安装2.下载浏览器驱动3.实例4.开启无头模式5.保存页面截图6.模拟输入和点击a.根据文本值查找节点b.获取当前节点的文本c.打印当前网页的一些信息d.关闭浏览器e.模拟鼠标滚动7.ChromeOptions8.验证滑块移动9.打开多窗口和页面切换10.Cookie操作11.模拟登录12.优缺点
Python之Selenium自动化爬虫
0.介绍

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可

			
		

	





	

		

			

				
					
利用selenium使用python爬虫51job

				
			

			

				

					11-28
				

			

		

		

			
				
以下是使用selenium和python爬取51job的示例代码：

```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

# 打开浏览器
browser = webdriver.Chrome()

# 进入51job首页
browser.get('https://www.51job.com/')

# 找到搜索框并输入关键词
search_box = browser.find_element_by_id('kwdselectid')
search_box.send_keys('Python')
search_box.send_keys(Keys.RETURN)

# 等待页面加载完成
time.sleep(5)

# 找到所有职位信息的元素
job_list = browser.find_elements_by_css_selector('#resultList .el')

# 遍历所有职位信息并输出
for job in job_list:
    job_name = job.find_element_by_css_selector('.t1 a').text
    company_name = job.find_element_by_css_selector('.t2 a').text
    location = job.find_element_by_css_selector('.t3').text
    salary = job.find_element_by_css_selector('.t4').text
    release_date = job.find_element_by_css_selector('.t5').text
    print(job_name, company_name, location, salary, release_date)

# 关闭浏览器
browser.quit()
```

该代码使用Chrome浏览器驱动打开51job首页，输入关键词“Python”并搜索，然后等待页面加载完成后，找到所有职位信息的元素并遍历输出每个职位的名称、公司名称、地点、薪资和发布日期。最后关闭浏览器。



			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值