- 博客(142)
- 资源 (9)
- 收藏
- 关注
原创 python爬取京东商品(使用cookies,header,xpath匹配),解决ajax。 后附有selenium模拟访问抓取网页方法和视频演示
###本文提供的代码只用于学习,请勿用于商业用途这次没用正则和BS4,用了XPATH,因为真的好久好久没用xpath了。唯一要主要克服的难点就是京东的ajax加载,直接requests抓网页只有前30个商品,还要用get请求访问目标url,得到后面的商品。b变量其实是UNIX时间戳。PS,真的好想买索尼的电视机,因为安卓电视+无开机广告......建议电视机运行内存大于2G,CPU配...
2019-03-22 19:47:10 4039
原创 80%准确率的 lightgbm 框架试用 kaggle桑德兰银行目标客户预测
Santander Customer Transaction Predictionkaggle的一个比赛,试题于https://www.kaggle.com/c/santander-customer-transaction-prediction我的初步解答:import pandas as pdimport numpy as npfrom sklearn.ensembl...
2019-03-08 21:46:08 1744
原创 机器学习SVC分类预测三个月后的股价
通过学习近两年的每个季度报的基本面财务数据,建立模型,买入并持有预测三个月后会涨5%以上的股票,直到下一批季度报数据采集:用到了大约10018行数据(已去除缺失值,不采用填充),其中采用了两个技术指标(趋势指标CYES,CYEL) circulating_market_cap operating_revenue net_profit roe \count ...
2018-05-13 14:34:30 2806 1
原创 量化策略多因子选股之SPSS MODLER建模
TARGET设置为当日股价/半年前股价,若大于1则为盈利,设为1.小于等于1,设为0。 以后可以考虑再减去无风险收益率或者沪深300收益率,以体现超额收益。数据来自于20180324的股价,20170901的股价,股票池为中证500和沪深300成分股(与数千只A股总量相比,它们的流动性、市值和规模具有显著特点,所以测试结果并不保证适用于其他股票,尤其是小市值不稳定的创业板块)部分财务数据取对数减少...
2018-03-24 20:53:54 5926 2
原创 使用facebook开源prophet模型预测上证指数etf股价
蓝线是预测的2024年的走势,绿线是实际走势,红线是历史和未来的分界线。结果上有蛮多差异的。可以图个乐,没有那么准确,可能还需要更深入的研究分析。
2024-08-30 17:18:58 207
原创 记录2024年的一次lightgbm 夯实的调参流程
使用lgb自带的cv来计算,先限定learning_rate为0.1,这样调整别的参数的时候可以迭代得更快一些。最优参数为:{'bagging_fraction': 0.4, 'feature_fraction': 0.4}最优参数为:{'lambda_l1': 0.3, 'lambda_l2': 0.08}这里选择先粗调再细调的策略,偷懒的话也可以直接细调,一步到位,但是代码会跑的久一些。最优参数为:{'num_leaves': 55}最优参数为:{'num_leaves': 38}
2024-08-23 15:57:45 765
原创 运行lightgbm 报错缺lib_lightgbm.dll hapi-ms-win-core-winrt-l1-1-0.dll
其实是lib_lightgbm.dll无法运行,因为我是windows7的操作系统,是缺少api-ms-win-core-winrt-string-l1-1-0的dll文件的。windows7 毕竟已经停止维护了,奈何这是单位电脑不好升级。(只有64位操作系统才有此文件夹,将下载的32位文件放到此文件夹内)(如果你的操作系统是32位,请将下载的32位文件放到此文件夹内)(请将下载的x64文件夹中的文件放到此文件夹内)
2024-08-16 16:20:28 334
原创 selenium 解决__init__() got an unexpected keyword argument ‘executable_path‘及初次使用
下载驱动chromedriver.exe到指定文件夹(例如:C:\\ProgramData\\Anaconda3\\Scripts\\chromedriver.exe)
2024-06-04 16:39:50 486
原创 jetbrains产品如dataspell 安装后无法运行报错误“无法定位程序输入点 CreateAppContainerProfile 于动态链接库 USERENV.dll 上。
安装dataspell后运行报错,在windows7中运行pycharm报错误"无法定位程序输入点 CreateAppContainerProfile 于动态链接库 USERENV.dll 上。解决办法:找到安装目录的bin/dataspell.bat,直接运行bat 就行,其他的软件产品也类似。
2024-01-02 11:09:14 6771
原创 pandas Excelwriter, writer.save() 输出xlsx导致文件只读的问题
【代码】pandas Excelwriter, writer.save() 输出xlsx导致文件只读的问题。
2023-11-09 13:10:05 672
原创 godot Tilemap “物理层”属性 找不到
在 TileMap 的 Inspector 检查器 中点击 TileSet(不是箭头),你就会找到它。碰撞形状的工作原理相同。
2023-08-19 13:48:09 629 1
原创 ttkbootstrap以及Tkinter ScrolledText滚动文本框的使用以及字体大小设置
【代码】ttkbootstrap以及Tkinter ScrolledText滚动文本框的使用以及字体大小设置。
2023-08-11 15:46:59 992
原创 采用pycharm在虚拟环境使用pyinstaller打包python程序
打包结束后,PyInstaller会在build文件夹中生成一些日志文件以及工作文件,而在dist文件夹中的是已经打包好的文件。spec文件中存储着打包时所用的命令以及要打包的相关文件,它的作用就是告诉PyInstaller如何来进行处理。一年多以前,我写过一篇博客描述了如何虚拟环境打包,这一次有所不同,直接用IDE pycharm构成虚拟环境并运行pyinstaller打包。由于是用纯净的虚拟环境打包,过滤了无用的包,最终exe文件只有 20几MB,打包出错的风险也小了很多。第六步: 打包完成。
2023-08-11 14:44:48 3265
原创 renpy 实现自动保存和自动读档
存档有它的命名规则,不符合的命名规则会发生存档保存了,但菜单里找不到,所以建议命名为。'提示:游戏已保存'quick-1或者1-1。
2023-05-20 16:14:28 618
原创 解决新版nvidia experience不显示shield无法串流的问题
可以先关掉experience软件,然后重启服务,最后打开软件。1.首先要有clash或者其他代理工具。找了好久终于在贴吧老哥那里找到办法。开启 clash的TUN模式。2.在任务管理器 重启。
2023-03-25 09:01:52 13308 1
原创 renpy 替换图标
命名为android-icon_background.png和android-icon_foreground.png并放在游戏根目录即可。如果你想替换启动图,设置一张android-presplash.jpg,大小为500*500像素并放在游戏根目录即可。PC端你只需要设置一张为icon.ico的图标,大小为128*128像素并放在游戏根目录即可。你只需要准备一张250*250像素的图片,并在options.rpy中设置一行代码。安卓你只要准备两张png图片,大小为432*432像素。
2023-02-27 14:05:24 896
原创 事件分析法python实现分析事件对股价的冲击
我本身在做非全日制研究生的作业,于是我把研究过程用到的代码开源了,供更多的金融和经济专业的同学借鉴。事件研究法(EventStudy)用于评估某一事件的发生或信息的发布,是否会改变投资人的决策,进而影响股票价格或交易量的变化。事件研究法应用于金融领域,借助金融市场数据分析某一特定经济事件对该公司价值或市场产生的影响,即是否产生超常收益(AbnormalReturns)。其理论基础在于,如果市场是有效的,那么此事件的影响会迅速反映到资产的价格上。在本章节中,采用前文描述的事件分析法分析浑水做空中概股事件.
2022-07-09 22:02:50 1993
原创 Pandas DataFrame的多重索引 MultiIndex 切片取单个df
找了好久的资料,也没有发现相关办法,我想要从一个多重索引下取到需要单独的小dataframe。就用这个土办法可以实现。我大概浪费了一个半小时在这上面,希望把知识传递在互联网,造福更多像我这样的求知者。用这个办法就可以去掉 上一层level,取到单独的dataframe...
2022-07-09 20:41:24 768
原创 dnspy 修改 伊格利亚战记 军队维护费和英雄维护系数
用dnspy软件打开\Eagarlnia_Data\ManagedAssembly-CSharp.dll搜索关键词 expendHeroBase(英雄维护费基础值) ,或者 heroMgrRatioMax(英雄管理系数上限) 定位到 IncomeParam 代码段落:如下:using System;using Sirenix.OdinInspector;using UnityEngine;namespace Game{ // Token: 0x020002E7 RID: 743
2022-04-19 23:10:49 1625
原创 python 构造类,类里面对象的属性有列表,不同的对象引用同一个列表造成互相干扰混淆
这个问题我也排查了很久发现不同对象之间的itemlist的列表又出现混淆,才发现是他们引用了同一个列表采用 deep.copy 解决这个问题class fighter(): def __init__(self, EIOD=100,FTR = "",ALIVE=1,SEX='男',MPAI='',TITLE='',QMD=0,ELEM=[],ATK=20,DEF=5,FL=10,MZ=20, SB=5, HP_MAX=30, MP_MAX=30,TL_MAX=50,FABAO
2022-04-03 22:00:52 1268
原创 jupyter notebook 的 hinterland 插件 改造,使代码提示第一个不被选中
进入到 自己开发环境 Python 或者 Anaocnda 的安装目录,然后进入如下文件夹 Lib\site-packages\notebook\static\notebook\js ,找到 main.min.js 文件 ,用 记事本 打开。按 ctrl + F 搜索 "We put it above the code" ,找到如下位置。修改完的代码,如下: this.complete.css('left', left + 'px'); th...
2022-03-22 09:08:58 1058
原创 量化交易:KDJ周线择时
# 导入函数库from jqdata import *import jqdataimport jqlib.technical_analysis import pandas as pdimport talib as ta# 初始化函数,设定基准等等def initialize(context): # 设定沪深300作为基准 set_benchmark('000300.XSHG') # 开启动态复权模式(真实价格) set_option('use_real_p.
2021-12-29 17:08:05 463
原创 虚拟环境venu使用pyinstaller打包python程序
在开发机上直接运行pyinstaller打包程序,碰到了两个问题:1.打包过程中报错很多,最终的exe运行的时候出错,闪了一下就闪退。2 打包的时候不指定模块,最终的打包exe200-300M包含了许多不需要的模块。这也加大了程序打包出错的可能。所以采用pipenv 来搭建模拟环境,再做打包exe。1,pip install 安装pipenv模块2,创建文件夹,cd命令行 安装虚拟环境 。 pipenv install3,编辑文件夹里的Pipfile文件。更改pip源,改成[
2021-10-21 15:37:26 863
原创 爬虫英雄联盟官网的全英雄介绍和技能介绍
import reimport pandas as pdimport requests# 循环了cols=['heroId','name','alias','title','roles','shortBio','attack','defense','magic','hp','hpperlevel','mp','mpperlevel','armor','spellblock', 'attackdamage','attackdamageperlevel','pas0','pas1','q.
2021-10-15 17:00:55 853
原创 python 解决爬虫得到诸如\u65e2 unicode码转中文和字符串转json的问题
# 字符串处理s = html.text.encode('utf-8').decode('unicode_escape')# 如果是json的话,转化为jsonjson1 = json.loads(s, strict=False)原文:{"hero":{"heroId":"1","name":"\u9ed1\u6697\u4e4b\u5973","alias":"Annie","title":"\u5b89\u59ae","roles":["mage"],"shortBio":"\u65e2.
2021-10-15 14:59:29 39672 4
原创 python将文件下所有的csv 由utf-8转码gbk
import osdef file_name(file_dir): a=list(os.walk(file_dir))[0][2] for files in a: if '.csv' not in files: list(a).remove(files) return a dalu='C:\\Users\\sse\\Downloads\\v42\\v4'ttt=file_name(.
2021-10-11 15:58:58 1745
原创 解决gopro的视频文件命名问题
# This is a sample Python script.# Press Shift+F10 to execute it or replace it with your code.# Press Double Shift to search everywhere for classes, files, tool windows, actions, and settings.import osdef rename_gopro_all(): # Use a breakpoint.
2021-09-20 17:52:06 1560
原创 更新了pandas后,ix方法不能使用的替代办法
使用df1.columns.get_loc)df1.iloc[-1, df1.columns.get_loc('name')] = 'XXX'
2021-09-15 16:27:09 985
原创 pip使用源更新包
pip install --user --upgrade pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
2021-09-15 13:30:46 108
原创 DataFrame增加一行
DataFrame增加一行。很简单的事情,网上的方法都给搞复杂了 nn=len(typename) typename.ix[nn,'词性']=x typename.ix[nn,'数量']=y typename.ix[nn,'关键词']=z 何必用max方法和append方法
2021-09-10 10:39:18 1740 3
原创 通过分析词性进行人名、地名、组织的替换,生成新的狗屁不通文章
使用百度百科“秦灭六国”融合三国的章节:秦在发动攻威风凛凛之前,即依刘胜、袁术之谋,以间谍挑拨活动,挑起德公两国之间的战争,待毕恭毕敬战起,南阳即借口援赫赫抗孙坚,开始对孙坚进攻。毕恭毕敬从西面、西北面、南面三路攻孔融,但把进攻的重点指向刘玄南部,以陷袁绍于两面作战、腹背受敌的困境。孔融政十一年(公元前236年)冬,孙坚两国正在酣战之际,吕布袁绍率军进攻北平之战略要地阏与,使这个早为洛阳垂涎的战略要地一举被孙坚拔除,从而打开了从西面进攻长沙的通道。金银财宝和军进攻长沙(阏与之北),也顺利攻克,这样荆
2021-09-08 14:57:36 1183
原创 python输入坐标返回形成的多边形,并输出面积和动画
import sysimport mathimport timeimport randomimport matplotlib.pyplot as pltimport matplotlib as mplfrom matplotlib.animation import FuncAnimation#随机生成数组的函数import randomdef random_int_list(start, stop, length): start, stop = (int(start), int(.
2021-09-02 13:53:35 1564
原创 使用matplotlib 绘制动图动画 FuncAnimation 解决jupyter中动图不动
#如果在jupyter中运行,请加入本句话%matplotlib notebookimport matplotlib as mplimport matplotlib.pyplot as pltfrom matplotlib.animation import FuncAnimationfig, ax = plt.subplots() #生成轴和fig, 可迭代的对象x, y= [], [] #用于接受后更新的数据line, = plt.plot([], [], .
2021-08-26 13:54:14 2522
原创 <自用>经济战争模型
import randomimport timeclass guo(): def __init__(self, ID,FTR, POP,GOLD,FOOD,INDUS,ENE): self.ID=ID self.FTR = FTR self.POP = POP self.GOLD = GOLD self.FOOD = FOOD self.INDUS = INDUS .
2021-08-25 17:07:34 109
原创 pyinstaller打包踩坑报错PermissionError: [Errno 13] Permission denied....
是权限问题,cmd用管理员权限打开,cd到指定目录再执行pyinstaller -F xxx.py(xxx.py,打包的文件)
2021-08-25 11:02:07 1855
RPGMAKER 主动战斗(即时战斗)插件 ALAPHA ABS MV
2022-05-07
国家级高新技术企业、科创企业名录.xlsx
2020-03-03
UCI_Credit_Card.csv数据集信息 此数据集包含有关2005年4月至2005年9月台湾地区信用卡客户的默认付款
2019-11-18
Python+淘宝网商品数据分析+原代码.txt
2019-10-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人