爬虫
知识进脑的肖老千啊
还不快到碗里来??
展开
-
python利用akshare和chinesecalendar判断是否为工作日是则保存数据(并贴上时间戳)
在之前的博客中有给小伙伴们介绍了下akshare这个第三方模块~上边的接口挺好用的 但是有的接口只提供一天的数据!那该怎么办(下边用郑商所的棉花期权举例子)?当你试图循环一年的365天 然而又有的是休息日 借用akshare返回会报错!嘻嘻 这个时候 就要用到chinesecalendar这个第三方模块啦!首先第一步当然是安装啦!pip install chinesecalendar然后就开始愉快的写代码吧!import datetimeimport akshare as akimport原创 2020-11-06 16:22:16 · 1044 阅读 · 0 评论 -
python用akshare批量爬取金融数据并保存为excel格式
python用akshare批量爬取数据并保存为excel格式爬取的网站为http://vip.stock.finance.sina.com.cn/mkt/#hs_a的历史数据首先,确定好你 下载好了第三方模块akshare下载代码:pip install akshare -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com --upgrade然后,创建一个名为aa的txt文件,文件内容为sh6原创 2020-10-16 10:15:48 · 5238 阅读 · 11 评论 -
python超好用的爬取金融数据的第三方库AkShare
python超好用的爬取金融数据的第三方库AkShare,爬取数据并保存成excel格式这是我在爬取数据时候找到的超级好用的第三方模块!它还有个官网 是这个https://www.akshare.xyz/zh_CN/latest/introduction.html 官网上还有示例代码! 在这里我就不一一给你们举例了虽然官网推荐是安装python3.7以上的版本! 但是我是python3.6还是能用安装代码:pip install akshare -i http://mirrors.aliyun原创 2020-10-14 10:46:34 · 14814 阅读 · 12 评论 -
Python爬取美桌网图片(保存在电脑上)
之前看视频写的,做个记录上传一下把!用python爬取图片,用到的模块有requests和parsel附上代码import parselimport requests#一共五页for page in range(1,6): print("正在爬取第{}页数据".format(page)) #爬虫的一般思路 # 分析目标网页,确定爬取的url路径,headers参数 base_url = "http://www.win4000.com/meinvtag26_{}.h原创 2020-09-29 17:43:50 · 698 阅读 · 0 评论 -
Python爬取新浪财经商品期权
python爬取新浪财经商品期权并生成excel表格连接Navicat然后将数据存入数据库为什么在做了东方财富网的大商所爬取代码后还要搞一个这个?因为新浪财经的看涨合约和看跌合约是在一块的(相当于一次要爬取两个模块还要进行排版)这里先给大家捋一下逻辑1.我是先将爬取下来的数据存为txt文件(因为不知道怎么直接存为excel文件)2.然后将txt文件转化为excel文件3.将excel文件导入数据库在做的时候,要注意变量的命名,不要重复了。。然后一直爆红改错(泪啊都是)附上代码如下impor原创 2020-09-27 16:21:51 · 1354 阅读 · 0 评论 -
python-爬取东方财富网期货市场大商所数据
python-爬取东方财富网期货市场大商所数据注意因为是用谷歌爬取,所以要先下载好chromedriver然后用到的第三方模块有os、time、openpyxl、webdriver这里是将爬取下来的数据先存为txt,然后再转化为excel文件def dashangsuo(): import os import time import openpyxl from selenium import webdriver # 打开chrome浏览器 resp原创 2020-09-22 10:06:07 · 2356 阅读 · 0 评论