- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 多维数组多阶、多步差分及还原计算
数据差分是在数据分析时经常遇到的，本文就多维、多阶、多步差分进行了介绍，并能完成差分计算和差分还原计算。本计算能自如处理多维数据（Dimension），能处理datetime数据和更多的普通数据。差分就是多阶差分是多次进行一阶差分 ，多步差分就是一阶差分中隔k隔数据进行差分计算在差分计算中一定要注意多阶或者多步差分的区别。在python中 尝试寻找季节性规律的diff（4） 是k为4 的一阶差分。而为了数据的稳定性进行二阶差分， 是先进行一次一阶差分，在这个差分后的基础上再进
2022-04-29 17:16:25
866
原创 datetime数据作为行索引，合并俩数组
通过datetime \date_range \to_datetime等函数使用，将字符数据转换成datetime格式数据，并按设想完成数据合并
2022-04-27 09:15:19
350
原创 Holt-Winters方法预测水电发电量
Holt-Winters 模型， ARMIA，ACF检验 ，Dickey-Fuller 检测，白噪声检测，差分
2022-04-22 17:28:17
920
1
原创 七星彩数据采集
利用公开网站的数据收集七星彩历史数据，并excel记录历史数据一、导入模块import requests #爬虫库import xlwt #写excel表库import time #时间获取转换from bs4 import BeautifulSoup #爬虫库二、获取网页# 获取网页内容def get_html(url): #这是一个UA伪装,告诉网站你浏览器和操作系统系统 headers = { 'User-Agent': 'Mozilla
2022-04-01 19:37:30
759
原创 利用baostock获取上市公司财务指标
利用baostock获取上市公司的财务指标1、导入模块，登录baostockimport baostock as bsimport pandas as pdimport time# 登陆系统lg = bs.login()# 显示登陆返回信息print('login respond error_code:'+lg.error_code)print('login respond error_msg:'+lg.error_msg)2、查询股票代码、行业板块# 查询股票代码rs=.
2021-09-19 23:10:32
1311
原创 xpath、findall检索文本内容比较
利用etree、xpath与findall一样都可以检索文本内容。速度似乎没大的区别import requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport reimport pandas as pdhh=0global jj,ress,jjjjjjjj=pd.DataFrame()def getHTMLtext(url): kv={'cookie':'bocms_visite_user_sessio
2021-09-14 19:35:18
353
原创 浏览某企业网站，搜寻某位人员的所有相关新闻
企业的门户网站有很多企业相关新闻，可以搜索这些新闻并收集某个特定员工相关的新闻。如某网站自2012年以来一共4000多条新闻，涉及到某位人士一共1500条。一、收集相关信息找到相关网站的新闻栏目，发现总共4000多条新闻，每页18条。编码都有规律。除了第一页，后后面都是数字标识分页。简单的办法就是罗列这些网页。二、讲这些网页的每条新闻的超级链接记录下来import requestsfrom lxml import etreefrom bs4 import Beautifu.
2021-09-12 23:01:11
134
原创 绘制小区价格热力图
利用安居客获得的小区均价，通过百度地图开放平台获得小区经纬度坐标，然后利用folium绘制热力图一、获得经纬度坐标import pandas as pdimport requestsAK = "GFUlialWBG5GpLfZ6lK0oOWCoybMr6jH" # 在百度地图开放平台申请data=pd.DataFrame()def get_position(name, AK): url = f'http://api.map.baidu.com/geocoding/v3/?ad
2021-09-10 11:46:46
313
原创 安居客二手房源信息查询
通过简单的requests 、findall、pandas使用，查询到某区域的房源，并通过pandas 整理记录到excel文件，为以后进一步处理做准备。第一部分、导入模块from collections import defaultdictimport requestsimport pandas as pdfrom bs4 import BeautifulSoupfrom lxml import etreeimport reglobal data_list,ccdata_li..
2021-09-08 10:44:03
440
原创 优惠名单整理
每年高考季，教育考试院都会公布政策加分名单。由于名单比较多，往往分地区公布，为希望得到统计数据带来麻烦。简单的分析网页后，动手#1\模块导入import requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport reimport pandas as pd#2\获取网页def getHTMLtext(url): kv={'cookie':'bocms_visite_user_sessio..
2021-09-04 10:16:08
94
原创 福彩3D数据整理
收集到3D历史数据后，需要整理这些数据，为预测作参考。一、准备，导入模块import pandas as pdimport os二、获取数据#获取数据def open_file(ccc): global aa1,aa2,aa3,aadate,data,eee,data1,qq data=pd.read_excel('d:\\yy'+ccc+'202192112811.xls') aa1=data['hundreds'] aa2=data['ten
2021-09-03 11:45:17
1439
2
原创 抓取3d、排列三历史数据
3d、排列三的历史数据时间跨度有10多年，可以抓取作为参考使用一、导入模块import requests #爬虫库import xlwt #写excel表库import time #时间获取转换from bs4 import BeautifulSoup #爬虫库二、获取网页def get_html(url): #这是一个UA伪装,告诉网站你浏览器和操作系统系统 headers = { 'User-Agent': 'Mozilla/5.0 (Maci
2021-09-02 11:52:49
1031
原创 大乐透、福彩历史数据收集
大乐透、福彩历史数据为公开数据，不存在法律上的障碍。我们选取公开网站的数据存为csv、excel等格式数据文件，方便用于二次数据整理。整个过程主要分为获取网页（找到网站有效登录）、解析网页（分离有效的数据）、保留数据（将数据写入数据文件）一、准备工作 导入模块import requests #爬虫库import xlwt #写excel表库import time #时间获取转换from bs4 import BeautifulSoup #爬虫库这些是常用的网络爬数据的模块
2021-09-01 11:57:23
1230
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人