私募排排往设置了很多坑,刚开始走了不少弯路,
流程
私募排排网网址:https://www.simuwang.com
网页构造
私募网中每个基金产品的网址构造是 https://dc.simuwang.com/product/ +产品编号,如图:
私募网产品界面
如果想要查看产品内容,需要登录才能看。
requests
# 添加请求头
headers = {
"Request URL": "https://passport.simuwang.com/index.php?m=passport&c=auth&a=login",
"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
"Origin": "https://www.simuwang.com",
"Referer": "https://www.simuwang.com/",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"
}
首次登录需要传入账户密码,并获取到cookies保存到本地,再次登陆可加载cookies,不需要重复登录。还有,登录之后会有验证码,而且是那种滑动图片的验证码,这个是个坑,所幸requests可以绕过验证码,否则处理验证码会很麻烦。
def get_system_cookies(url):
'''通过request 登陆系统,获取cookie'''
cookiesList = []
postData = {
'username': '186********',
'password': '114***',
'do_qualified': '1',
'reme': '1'
}
roomSession = requests.Session()
roomSession.post(url, data=postData, headers=headers)
loadCookies = requests.utils.dict_from_cookiejar(roomSession.cookies)
for cookieName, cookieValue in loadCookies.items():
cookies = {'name': cookieName, 'value': cookieValue}
cookiesList.append(cookies)
return cookiesList
def is_login_status_succeed(driver):
'''判断是否登陆状态,非登陆状态,通过cookie登陆'''
loginUrl = "https://passport.simuwang.com/index.php?m=passport&c=auth&a=login" #登陆地址
driver.get('https://dc.simuwang.com/product/HF00005DEG') #测试是否为登陆状态
time.sleep(5)
if '请输入您的手机号' in driver.page_source: #判断是否登陆为登陆页面
for cookie in get_system_cookies(loginUrl): #如果登陆界面获取cookie
driver.add_cookie(cookie) #添加cookie ,通过Cookie登陆
return driver
def request_circle_details(driver,requestUrl):
'''测试跳转圈子详情'''
is_login_status_succeed(driver)
driver.get(requestUrl)
verifyField = driver.find_element_by_xpath('//*[@id="tab-1-1"]/table/tbody/tr[1]/td[6]/span').text #获取页面标题
try:
assert verifyField == '-6.10%'
return '测试通过'
except AssertionError as e:
return '测试未通过'
其实这里也试验了几种方法,但是不用太过纠结,因为后面会有更大的问题。成功之后,接下来就是获取数据。我需要获取的是表格内的历史净值,可以看出这个网页是ajax加载,翻页的时候url是不变的,但是每次翻页会生成两个文件:
getNavList和getToken,数据存储于getNavList中,但是需要传入四个参数,其中一个参数是token,需要从getToken中获取,而且是随机生成的,所以这里又是一个坑。如图:
即使你想尽办法获取到之后数据也不能用,因为私募网把数据转码了,数据没法用:
简直太坑了,问了其他人,说肯定是js里面有方法把数据给加密了,结果真被他给找到了,是一个decryptData的文件,如图:
我也不懂JS,想获取数据只能找到这个文件然后解密,所以我果断放弃了这条路,简直太坑了,这条路走不通。立即选择用selenium操作浏览器,早知道这么麻烦当初就直接selenium了。
selenium
用selenium绕不开验证码,无法自动获取到cookies,就想能不能用requests获取的cookies,然后传给selenium,结果我还是太嫩了,用request的cookies在selenium上登录,那是不行的,因为domain得指定。
所以老老实实的开浏览器输账户密码验证码,之后就可以获取数据了。
把获取的数据整理好后存入MySQL。
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
import pickle
import time
import re
import pandas as pd
''' 流程:输入参数,组合url,开浏览器,传入url,判断cookies是否有效,有效直接抓数据,
无效先手动登录,再抓数据。
抓数据:先判度数据库中是否存在,首次全抓,获取总页数,循环抓取,再次抓取,判断有无新值,
抓新值
'''
browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
''' 跳出页面,手动输入账号、密码、验证码获取cookies '''
def login(parameter):
login_url = "https://dc.simuwang.com/product/" + str(parameter)
browser.get(login_url)
WebDriverWait(browser, 120).until(
EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#topAll > div > div.ppw-portal-comps-topRight > a.ppw-portal-comps-cm-link-info > span'), "袁健")
) # 给120秒时间判断是否已经登录,登录后再运行下一步
cookies = browser.get_cookies()
pickle.dump(cookies, open("cookies.pkl", "wb"))
''' 加载cookies,判断cookies是否有效,若不是则重新登录 '''
def loadCookies(cookies_file, browser=None):
with open(cookies_file, 'rb') as f:
cookies = pickle.load(f)
if browser is None:
browser = webdriver.Chrome()
for cookie in cookies:
browser.add_cookie(cookie)
return browser
''' 解析网页,获取数据 '''
def getData():
# 解析网页内容
html = browser.page_source # 拿到网页的源代码
doc = pq(html) # 用pyquery解析一下
item = doc('#networth-table').text().split("\n") # 调用items方法可以得到所有选择的内容
n = 5
items = [item[i:i + n] for i in range(0, len(item), n)]
df = pd.DataFrame(items)
return df
def getInfo():
# 解析网页内容
html = browser.page_source # 拿到网页的源代码
doc = pq(html) # 用pyquery解析一下
item = doc('#product-detail-table').text().split("\n") # 调用items方法可以得到所有选择的内容
n = 2
items = [item[i:i + n] for i in range(0, len(item), n)]
df = pd.DataFrame(items[0:26]).T # 转置
df = df[-1:]
df.columns = ['产品名称','认购起点','投资顾问','追加起点','基金管理人','封闭期','基金托管人','开放日','外包机构方',
'认购费率','证券经纪商','赎回费率','期货经纪商','赎回费率说明','成立日期','管理费率','运行状态','预警线',
'产品类型','止损线','初始规模', '业绩报酬','投资策略/子策略','存续期限','是否分级','备案编号']
return df
''' 遍历所有页面,获取所有数据 '''
def getAll():
# 判断当前数字是否是需求页
try:
index = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#networth-table_pager > span'))
)
total = int(re.findall('\d+', index.text)[1])
DATA = pd.DataFrame()
First = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#networth-table_pager > a:nth-child(1)'))
)
First.click() # 每次抓取首先定位到第一页
page = 1
while page <= total:
time.sleep(1)
wait.until(
EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#networth-table_pager > span'), str(page))
) # 等到加载出现相应页面
df = getData() # 抓数据
DATA = DATA.append(df) # 拼接
page = page + 1 # 页码+1
nextPage = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, '#networth-table_pager > a:nth-child(4)'))
) # 点击下一页
nextPage.click()
DATA.columns = ['date', 'unit_net_value', 'net_re_invest', 'net_not_invest', 'net_chg']
return DATA
except TimeoutException:
getAll()
''' 存储数据 '''
def saveData(data):
engine = create_engine("mysql+pymysql://root:********@localhost:3306/db_investment")
pd.DataFrame.to_sql(data, 'simu_net ', con=engine, if_exists='append', index=False)
def saveInfo(data):
passwd = 'zjqhyjy@2018'
engine = create_engine('mysql+pymysql://admin' + ':' + passwd + '@172.19.0.217:3306/db_investment')
# engine = create_engine("mysql+pymysql://root:8207606guo@localhost:3306/db_investment")
pd.DataFrame.to_sql(data, 'simu_info ', con=engine, if_exists='append', index=False)
def main():
# 首先开网页,手动登录
parameter = 'HF00005DEG'
login(parameter)
# 登录成功后获取全部数据
wait.until(
EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#topAll > div > div.ppw-portal-comps-topRight > a.ppw-portal-comps-cm-link-info > span'), "**")
) # 首先判定一下是否登录成功
data = getAll()
saveData(data)
browser.quit()
if __name__ == '__main__':
main()
因为还涉及到交互,供其他人传参数,所以怠慢还没有完全写完。