Python股价翻番，人生赢家，Python爬取基金，筛选股票

http://fund.eastmoney.com/005660.html

ok，好，我们在基金详情页面往下拉就可以找到该基金的股票持仓信息，，也就是该基金买了哪些股票：

然后点击 更多 进入该基金持股的详情页，往下拉就会看到，该基金三个季度的股票持仓信息：

对，这就是目标数据，要爬取的数据；

ok，我们先不爬取，再分析这个基金持仓的详情页，这个url也是有规律的，它是用

http://fundf10.eastmoney.com/ccmx_

和该基金的基金代码组合成的，比如：

005660 ，嘉实资源精选股票A 的持仓详情页面url：

http://fundf10.eastmoney.com/ccmx_005660.html

006921，南方智诚混合 的持仓详情页面url：

http://fundf10.eastmoney.com/ccmx_006921.html

因为这些数据是用js动态加载的，如果使用requests爬取的话难度很大，这种情况下一般会使用selenium模拟浏览器行为进行爬取。但是selenium爬取的效率确实比较低。其实我们依旧是可以使用requests进行爬取的，js动态加载是html页面中的js代码执行了一段操作，从服务端自动加载了数据，所以数据在一开始爬取的页面上是看不到的，除非一些特别难爬的数据才需要selenium，因为selenium号称：只要是你看得到的数据就都可以获取。毕竟selenium是模仿人操作浏览器的行为的。这里我们分析js动态加载，然后利用requests来爬取，后面进行二次爬取的时候再用selenium。

在首页按F12打开开发者工具，然后再刷新一下，

可以看到右边蓝色框里的数据了吧，这是js动态加载之后返回的数据，然后经过加工后呈现在页面上的，其实只要获取这些数据就可以了，不用去爬取首页了；

我们再点击 Headers ，这个 Request URL 就是js请求的url了，你可以试试把这个url直接用浏览器回车下，会给你返回一堆的数据；上面分析了基金持仓股票页面url的组成，所以只要需要这些数据里的六位基金代码就可以了，本篇代码中是用python正则进行了六位数字的提取，然后组成的基金持仓股票页面的url；然后再在基金持仓股票页面对该基金持有的股票进行爬取、存储；

爬取流程：

1、首先从首页中请求js动态加载数据时请求的那个url，从中获取六位数字的基金代码，

然后

http://fundf10.eastmoney.com/ccmx_ + 基金代码 + .html

组成的基金持仓股票的详情页url；

2、针对 基金持仓股票的详情页url 进行爬取，因为也是js动态加载的（加载速度较快），并且需要判断该基金是否有持仓的股票（有的基金没有买股票，也不知道他们干啥了），所以使用selenium来爬取，同时也使用了显式等待的方式来等待数据加载完成；

3、将数据整理，存储到mongodb中；

代码讲解—数据爬取：

这次我们将代码分段放上来，分段说明；

需要的库：

import requests

import re

from lxml import etree

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

import pymongo

准备的一些常用方法：

#判断字符串中是否含有中文

def is_contain_chinese(check_str):

“”"

判断字符串中是否包含中文

:param check_str: {str} 需要检测的字符串

:return: {bool} 包含返回True， 不包含返回False

“”"

for ch in check_str:

if u’\u4e00’ <= ch <= u’\u9fff’:

return True

return False

#selenium通过class name判断元素是否存在，用于判断基金持仓股票详情页中该基金是否有持仓股票；

def is_element(driver,element_class):

try:

WebDriverWait(driver,2).until(EC.presence_of_element_located((By.CLASS_NAME,element_class)))

except:

return False

else:

return True

#requests请求url的方法,处理后返回text文本

def get_one_page(url):

headers = {

‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36’,

}

proxies = {

“http”: “http://XXX.XXX.XXX.XXX:XXXX”

}

response = requests.get(url,headers=headers,proxies=proxies)

response.encoding = ‘utf-8’

if response.status_code == 200:

return response.text

else:

print(“请求状态码 != 200,url错误.”)

return None

#该方法直接将首页的数据请求、返回、处理，组成持仓信息url和股票名字并存储到数组中；

def page_url():

stock_url = [] #定义一个数组，存储基金持仓股票详情页面的url

stock_name = [] #定义一个数组，存储基金的名称

url = “http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2018-11-26&ed=2019-11-26&qdii=&tabSubtype=,&pi=1&pn=10000&dx=1&v=0.234190661250681”

result_text = get_one_page(url)

print(result_text.replace(‘"’,‘,’)) #将"替换为,

print(result_text.replace(‘"’,‘,’).split(‘,’)) #以,为分割

print(re.findall(r"\d{6}",result_text)) #输出股票的6位代码返回数组；

for i in result_text.replace(‘"’,‘,’).split(‘,’): #将"替换为,再以,进行分割，遍历筛选出含有中文的字符(股票的名字)

result_chinese = is_contain_chinese(i)

if result_chinese == True:

stock_name.append(i)

for numbers in re.findall(r"\d{6}",result_text):

stock_url.append(“http://fundf10.eastmoney.com/ccmx_%s.html” % (numbers)) #将拼接后的url存入列表；

return stock_url,stock_name

#selenium请求[基金持仓股票详情页面url]的方法，爬取基金的持仓股票名称；

def hold_a_position(url):

driver.get(url) # 请求基金持仓的信息

element_result = is_element(driver, “tol”) # 是否存在这个元素，用于判断是否有持仓信息；

if element_result == True: # 如果有持仓信息则爬取；

wait = WebDriverWait(driver, 3) # 设置一个等待时间

input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, ‘tol’))) # 等待这个class的出现；

ccmx_page = driver.page_source # 获取页面的源码

ccmx_xpath = etree.HTML(ccmx_page) # 转换成成 xpath 格式

ccmx_result = ccmx_xpath.xpath(“//div[@class=‘txt_cont’]//div[@id=‘cctable’]//div[@class=‘box’][1]//td[3]//text()”)

return ccmx_result

else: #如果没有持仓信息，则返回null字符；

return “null”

注意 page_url() 方法，里面的url就是上面分析js动态加载数据时请求的url，需要注意的是该url后面的参数，pi是第几页，pn是每页多少条数据，我这里pi=1，pn=10000，意思就是第一页，显示10000条数据（实际数据肯定没这么多，首页才5000+），就一次性的显示出所有的数据了；

程序开始：

if name == ‘main’:

创建连接mongodb数据库

client = pymongo.MongoClient(host=‘XXX.XXX.XXX.XXX’, port=XXXXX) # 连接mongodb，host是ip，port是端口

db = client.db_spider # 使用（创建）数据库

db.authenticate(“用户名”, “密码”) # mongodb的用户名、密码连接；

collection = db.tb_stock # 使用（创建）一个集合（表）

stock_url, stock_name = page_url() #获取首页数据，返回基金url的数组和基金名称的数组；

#浏览器动作

chrome_options = Options()

chrome_options.add_argument(‘–headless’)

driver = webdriver.Chrome(options=chrome_options) #初始化浏览器，无浏览器界面的；

if len(stock_url) == len(stock_name): #判断获取的基金url和基金名称数量是否一致

for i in range(len(stock_url)):

return_result = hold_a_position(stock_url[i]) # 遍历持仓信息，返回持仓股票的名称—数组

dic_data = {

‘fund_url’:stock_url[i],

‘fund_name’:stock_name[i],

‘stock_name’:return_result

} #dic_data 为组成的字典数据，为存储到mongodb中做准备；

print(dic_data)

collection.insert_one(dic_data) #将dic_data插入mongodb数据库

else:

print(“基金url和基金name数组数量不一致，退出。”)

exit()

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！