Python爬虫专栏
文章平均质量分 82
介绍Python爬虫的学习经验
199铱
注册国际投资分析师(CIIA)持证人、已具备证券分析师和基金从业资格
展开
-
Python爬虫理论与实战应用
经过自己码代码两周,我自己写了一套爬虫代码,可以自力更生获取某网站4900+只标的数据,而不用再依赖tushare这些付费平台。原创 2023-03-11 10:24:51 · 171 阅读 · 1 评论 -
Python获取某网站的行业/概念板块和个股历史数据(量化投资二)
可以自定义任意几个代码,即可获取对应行业或概念板块的历史数据,如2023.03.03日涨幅靠前的“Chiplet概念”的代码为BK1101。在代码中输入这两个代码[‘BK1101’],即可一次性获取想要的数据。将获取板块的url替换为获取某只个股的url,就可以获取个股的日K线数据。原创 2021-10-24 18:30:54 · 1188 阅读 · 0 评论 -
Python爬虫获取东财沪深A股当天收盘后的详细数据(量化投资一)
自从发现tushare积分很坑之后(具体请参见说说tushare pro积分规则或积分获取的那些坑!),最终还是选择自己写爬虫代码!1、通过复习之前学习的Python爬虫知识,完成了项目开发,从东方财富网中获取上证和深证当日4500+多只个股的明细数据;2、具体数据包括每只个股的代码、名称、最新价格、涨跌额、涨跌幅、换手率、成交量等数据,并将获取的上述信息一次性导出到本地的excel文件,以便做进一步的投资分析;3、代码中,headers参数、本地路径需要自己自定义;从发上一篇文章到完成原创 2021-06-27 15:13:42 · 4357 阅读 · 10 评论 -
Python爬虫实例(六):爬取XX网站图书的xml格式数据(xpath应用)
本文结合之前的练习,完成项目目标:爬取XX网站的经济学图书xml格式数据。项目思路发送get请求获取响应,使用xpath方法和etree.HTML方法提取想要的内容,保存至本地html文件;再从本地html文件读取出来进行处理或分析。该项目用到的新工具和新方法:1、Chrome的xpath插件工具:从网上下载xpath插件工具,并添加到Chrome。成功添加后,Chro...原创 2019-02-19 15:22:29 · 2967 阅读 · 0 评论 -
Python爬虫实例(五):爬取XX网站电视剧 json格式数据
本文结合之前的练习,完成项目目标:爬取XX网站的电视剧json数据。项目思路首先发送cookie请求爬取登录后的内容(具体方法见Python爬虫之个人笔记(四):发送Cookie请求),发送请求时加入超时错误重试功能(具体方法见Python爬虫之个人笔记(三):错误重试,超时处理);成功登录后,发送get请求,利用json.loads和json.dumps方法爬取电视剧数据,并...原创 2019-02-18 19:05:27 · 3369 阅读 · 0 评论 -
Python爬虫实例(四):发送Cookie请求
利用get或post发送cookie请求,都可以爬取网络上的数据。cookie 是指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。方法一:headers参数中直接携带cookie在定义headers参数时,直接将页面的cookie参数作为字符串带上,如 headers = {"User_Agent": "xxx", "cooki...原创 2019-02-15 18:32:27 · 3661 阅读 · 0 评论 -
Python爬虫实例(三):错误重试,超时处理的解决方法
错误重试错误重试用到的方法之一是:@retry()装饰器装饰器实际是一个python函数,它的作用就是为被装饰的函数(或对象)进行装饰、包装,可以让被装饰的函数(或对象)在不需要做任何代码改动的情况下增加一些额外的功能,即被装饰函数(对象)的增强版。安装pipenv install retrying应用语法from retrying import retry# @re...原创 2019-02-05 20:07:38 · 8237 阅读 · 0 评论 -
Python爬虫实例(二):requests模块应用,发送get/post请求,获取响应
安装requests模块使用前先安装requests模块:pipenv install requests(注意后面有个s)pipenv install requests发送get请求,获取响应import requestsurl = "https://www.baidu.com/"response = requests.get(url) # 发送get请求,请求u...原创 2019-01-18 15:08:33 · 3308 阅读 · 0 评论 -
Python爬虫实例(一):URL地址和HTTP协议
所需工具:Chrome浏览器(更多工具——>开发者工具——>Network /// 或在Chrome中右键点击检查,点击Network)爬虫的一般定义:模拟用户在客户端或浏览器发送网络请求,并按规则提取数据的程序常见的爬虫应用:1、展示在网页或APP上,如百度等搜索引擎2、进行数据分析,掌握规律URL地址URL是统一资源定位符,对可以从互联网上得到的资源的位...原创 2019-01-18 11:26:27 · 1829 阅读 · 2 评论