爬虫--1

爬取中国证券投资基金协会中私募基金管理人分类查询中的公司名称

1、第一步，获取headers，打开浏览器

打开网页，F12→网络(Network)→managerList.html

下面的标头就是Headers的内容

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Content-Length': '2',
    'Content-Type': 'application/json',
    'Cookie': 'Hm_lvt_a0d0f99af80247cfcb96d30732a5c560=1627867829,1627869156; Hm_lpvt_a0d0f99af80247cfcb96d30732a5c560=1627869159',
    'Host': 'gs.amac.org.cn',
    'Origin': 'https://gs.amac.org.cn',
    'Referer': 'https://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 Edg/92.0.902.62',
    'X-Requested-With': 'XMLHttpRequest'
}

打开浏览器

driver = webdriver.Edge("path")
url = "https://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html"
driver.get(url)

其中path是Edge的驱动器的路径，这里我用的Edge浏览器，也可以改用IE、Chrom等浏览器。

2、第二步，按钮点击

打开页面，5s后会弹出一个提示，需要关闭才可以继续。

press = driver.find_element_by_xpath('//a[@class="layui-layer-btn0"]')
press.click()

在有关闭提示的页面上打开F12→元素，找到关闭按钮的元素位置，选择关闭的元素的位置的话，相应的区域会出现高亮。

这里通过find_element_by_xpath()来找到按钮位置，在关闭按钮的元素位置，右键复制xpath路径，就是按钮的路径。

.click()是按钮点击操作。

3、第三步，下拉框选择

此处有两种情况，一种是隐藏的，一种是非隐藏的。

先说隐藏的：

当下拉框处的style="display: none;"时，需要先将其改为block才可以选择。

此处是通过 id选择的，value="smzqzzfx"。

js_type = "document.getElementById(\"fundType\").style.display='block';"
driver.execute_script(js_type)
fund_type = Select(driver.find_element_by_id('fundType'))
fund_type.select_by_value("smzqzzfx")

再说非隐藏的：

好吧，这个没用到非隐藏的，哈哈，就不用上面两行代码就ok了。

4、第四步，输入值

此处跳转页数，我也采用了自动的方式。

通过id找到输入框，使用send_keys输入跳转页码，然后通过class名字找到跳转按钮，点击跳转。

for i in range(1, 5):
    page_num = driver.find_element_by_id('goInput')
    page_num.send_keys(i)
    driver.find_element_by_class_name('btn-go').click()

最后也需要清空一下，再输入下一个值。

page_num.clear()

5、第五步，爬取管理公司

通过page_source获取到text，利用etree.HTML得到selector，通过selector.xpath查找管理公司名称，每页显示10个公司，所以通过遍历tr[j]找管理公司名称。

text = driver.page_source
selector = etree.HTML(text)
for j in range(1, 11):
    manager_name = selector.xpath('//*[@id="managerList"]/tbody/tr[%d]/td[2]/a/text()' % j)
    print(manager_name)

完整代码

import time
from lxml import etree
from openpyxl import workbook
from selenium import webdriver
from selenium.webdriver.support.ui import Select

import warnings
warnings.filterwarnings("ignore")

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'Connection': 'keep-alive',
    'Content-Length': '2',
    'Content-Type': 'application/json',
    'Cookie': 'Hm_lvt_a0d0f99af80247cfcb96d30732a5c560=1627867829,1627869156; Hm_lpvt_a0d0f99af80247cfcb96d30732a5c560=1627869159',
    'Host': 'gs.amac.org.cn',
    'Origin': 'https://gs.amac.org.cn',
    'Referer': 'https://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 Edg/92.0.902.62',
    'X-Requested-With': 'XMLHttpRequest'
}

wb = workbook.Workbook()  # 创建Excel对象
ws = wb.active  # 获取当前正在操作的表对象
ws.append(['基金公司'])

# 第一步，打开浏览器，选定下拉框内容
driver = webdriver.Edge("C:/Program Files (x86)/Microsoft/Edge/Application/MicrosoftWebDriver.exe")
driver.implicitly_wait(10)
url = "https://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html"
driver.get(url)
time.sleep(5)

press = driver.find_element_by_xpath('//a[@class="layui-layer-btn0"]')
press.click()
time.sleep(5)

# 机构类型
js_institutional = "document.getElementById(\"primaryInvestType\").style.display='block';"
driver.execute_script(js_institutional)
institutional_type = Select(driver.find_element_by_id('primaryInvestType'))
institutional_type.select_by_value("smzqtzjjglr")

# 注册地
js_registerP = "document.getElementById(\"registerProvince\").style.display='block';"
driver.execute_script(js_registerP)
register_province = Select(driver.find_element_by_id('registerProvince'))
register_province.select_by_value("北京市")
js_registerC = "document.getElementById(\"registerCity\").style.display='block';"
driver.execute_script(js_registerC)
register_city = Select(driver.find_element_by_id('registerCity'))
register_city.select_by_value("北京市")

# 办公地
js_officeP = "document.getElementById(\"officeProvince\").style.display='block';"
driver.execute_script(js_officeP)
office_province = Select(driver.find_element_by_id('officeProvince'))
office_province.select_by_value("北京市")
js_officeC = "document.getElementById(\"officeCity\").style.display='block';"
driver.execute_script(js_officeC)
office_city = Select(driver.find_element_by_id('officeCity'))
office_city.select_by_value("北京市")

# 基金规模1
js_type = "document.getElementById(\"fundType\").style.display='block';"
driver.execute_script(js_type)
fund_type = Select(driver.find_element_by_id('fundType'))
fund_type.select_by_value("smzqzzfx")

# 基金规模2
js_scale = "document.getElementById(\"fundScale\").style.display='block';"
driver.execute_script(js_scale)
fund_scale = Select(driver.find_element_by_id('fundScale'))
# scope01: 0-5亿, scope02: 5-10亿, scope03: 10-20亿, scope04: 20-50亿, scope05: 50-100亿, scope06: 100亿+,
fund_scale.select_by_value("scope06")

press = driver.find_element_by_xpath('//a[@οnclick="javascript:reload();"]')
press.click()
time.sleep(5)

for i in range(1, 5):
    page_num = driver.find_element_by_id('goInput')
    page_num.send_keys(i)
    driver.find_element_by_class_name('btn-go').click()
    time.sleep(2)

    text = driver.page_source
    selector = etree.HTML(text)
    for j in range(1, 11):
        manager_name = selector.xpath('//*[@id="managerList"]/tbody/tr[%d]/td[2]/a/text()' % j)
        print(manager_name)

        if manager_name:
            name = manager_name[0]
            print(name)
        else:
            name = ''
        ws.append([name])
    page_num.clear()

wb.save("100亿+基金公司.xlsx")
wb.close()
driver.quit()