199铱-CSDN博客

原创指数全线收跌，上证跌破3200点，仅4137只个股下跌！

你看美元兑人民币汇率的走势图就明白了。上周美元兑离岸人民币汇率大阴线之后，在20日均线之上获得支撑，然后又继续连涨3天。不要抱怨！换位思考一下，如果你是外资，手中拿着人民币资产，而人民币在不断地贬值，那你会不会抛售人民币资产？

2023-06-21 17:22:12 227

原创 Python爬虫理论与实战应用

经过自己码代码两周，我自己写了一套爬虫代码，可以自力更生获取某网站4900+只标的数据，而不用再依赖tushare这些付费平台。

2023-03-11 10:24:51 150 1

原创 Python获取某网站的行业/概念板块和个股历史数据（量化投资二）

可以自定义任意几个代码，即可获取对应行业或概念板块的历史数据，如2023.03.03日涨幅靠前的“Chiplet概念”的代码为BK1101。在代码中输入这两个代码[‘BK1101’]，即可一次性获取想要的数据。将获取板块的url替换为获取某只个股的url，就可以获取个股的日K线数据。

2021-10-24 18:30:54 919

原创 Python爬虫获取东财沪深A股当天收盘后的详细数据（量化投资一）

自从发现tushare积分很坑之后（具体请参见说说tushare pro积分规则或积分获取的那些坑！），最终还是选择自己写爬虫代码！1、通过复习之前学习的Python爬虫知识，完成了项目开发，从东方财富网中获取上证和深证当日4500+多只个股的明细数据；2、具体数据包括每只个股的代码、名称、最新价格、涨跌额、涨跌幅、换手率、成交量等数据，并将获取的上述信息一次性导出到本地的excel文件，以便做进一步的投资分析；3、代码中，headers参数、本地路径需要自己自定义；从发上一篇文章到完成

2021-06-27 15:13:42 4040 10

原创说说tushare pro积分规则或积分获取的那些坑！

baostock没用过不了解，来说说tushare不好意思，这篇文章不是为了获取积分而帮忙推广tushare的。最开始发现tushare的时候，觉得很厉害，用简单的一行代码，就可以获取当天所有股票的股价信息。但用过之后发现，那是仅限于旧接口，现在已经更新了pro版，而pro版则要满足一定的积分门槛，才能使用对应的数据。新用户注册了，完善个人信息，就可以获得120积分，但仅仅可以获取日线行情、IPO新股列表、限售股解禁信息。（对于tushare积分对应权限的可以自己上tushare的官网查看）

2021-06-12 19:29:58 7436 12

原创 mac环境下，如何解决brew command not found错误

mac 终端下，执行以下命令，即可安装brew：/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"在终端环境下，brew --version 查看brew的版本，也可以验证brew是否安装成功...

2019-01-16 11:31:30 99046 15

原创证券从业资格和证券分析师资格Get

去年11月底已经通过《金融市场基础知识》。12月12日再通过一门《证券市场基本法律法规》，成功拿到证券从业资格证！

2021-12-28 23:15:08 308

转载【机器学习算法】随机森林算法原理详解和Python实现方法

参考：https://www.cnblogs.com/maybe2030/p/4585705.html

2019-02-19 17:04:45 281

原创 Python爬虫实例（六）：爬取XX网站图书的xml格式数据（xpath应用）

本文结合之前的练习，完成项目目标：爬取XX网站的经济学图书xml格式数据。项目思路发送get请求获取响应，使用xpath方法和etree.HTML方法提取想要的内容，保存至本地html文件；再从本地html文件读取出来进行处理或分析。该项目用到的新工具和新方法：1、Chrome的xpath插件工具：从网上下载xpath插件工具，并添加到Chrome。成功添加后，Chro...

2019-02-19 15:22:29 2931

原创 Python爬虫实例（五）：爬取XX网站电视剧 json格式数据

本文结合之前的练习，完成项目目标：爬取XX网站的电视剧json数据。项目思路首先发送cookie请求爬取登录后的内容（具体方法见Python爬虫之个人笔记（四）：发送Cookie请求），发送请求时加入超时错误重试功能（具体方法见Python爬虫之个人笔记（三）：错误重试，超时处理）；成功登录后，发送get请求，利用json.loads和json.dumps方法爬取电视剧数据，并...

2019-02-18 19:05:27 3234

原创 Python爬虫实例（四）：发送Cookie请求

利用get或post发送cookie请求，都可以爬取网络上的数据。cookie 是指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据（通常经过加密）。方法一：headers参数中直接携带cookie在定义headers参数时，直接将页面的cookie参数作为字符串带上，如 headers = {"User_Agent": "xxx", "cooki...

2019-02-15 18:32:27 3399

原创 Python爬虫实例（三）：错误重试，超时处理的解决方法

错误重试错误重试用到的方法之一是：@retry()装饰器装饰器实际是一个python函数，它的作用就是为被装饰的函数（或对象）进行装饰、包装，可以让被装饰的函数（或对象）在不需要做任何代码改动的情况下增加一些额外的功能，即被装饰函数（对象）的增强版。安装pipenv install retrying应用语法from retrying import retry# @re...

2019-02-05 20:07:38 8108

原创 Python爬虫实例（二）：requests模块应用，发送get/post请求，获取响应

安装requests模块使用前先安装requests模块：pipenv install requests（注意后面有个s）pipenv install requests发送get请求，获取响应import requestsurl = "https://www.baidu.com/"response = requests.get(url) # 发送get请求，请求u...

2019-01-18 15:08:33 3217

原创 Python爬虫实例（一）：URL地址和HTTP协议

所需工具：Chrome浏览器（更多工具——>开发者工具——>Network /// 或在Chrome中右键点击检查，点击Network）爬虫的一般定义：模拟用户在客户端或浏览器发送网络请求，并按规则提取数据的程序常见的爬虫应用：1、展示在网页或APP上，如百度等搜索引擎2、进行数据分析，掌握规律URL地址URL是统一资源定位符，对可以从互联网上得到的资源的位...

2019-01-18 11:26:27 1759 2

原创 MAC出现pydotplus.graphviz.InvocationException: GraphViz‘s executables not found 错误

from sklearn.externals.six import StringIOdot_data1 = StringIO()tree.export_graphviz(clf2, out_file=dot_data1)graph1 = pydotplus.graph_from_dot_data(dot_data1.getvalue())graph1.write_pdf("tree1.p...

2019-01-16 11:29:35 2113

转载 bagging和boosting的区别

Baggging 和Boosting都是模型融合的方法，可以将弱分类器融合之后形成一个强分类器，而且融合之后的效果会比最好的弱分类器更好。 Bagging:Bagging即套袋法，有放回的抽样方法，其算法过程如下：从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）...

2019-01-15 16:25:46 237

原创 Python中决策树分类器DecisionTreeClassifier参数和经验总结

classsklearn.tree.DecisionTreeClassifier(criterion=’gini’,splitter=’best’,max_depth=None,min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=None,random_state=None...

2019-01-03 21:42:41 23113

原创 PyCharm创建项目时，怎么样更改项目的默认路径？

更改打开目录的默认路径：PyCharm——>Preferences——>Appearance&Behavior——>System Setting——>Project Opening——>Default directory指定自己想要的路径就可以了！如果...

2018-12-29 15:51:49 37705 1

原创 Python使用逻辑回归提示FutureWarning: Default solver will be changed to ‘lbfgs‘ in 0.22. Specify a solver to

在Python中利用Logistic回归算法进行数据建模，本来算是比较常见的事情，但结果“阴沟里翻船”，一上来就遇到了报警提示。在PyCharm中，使用python的sklearn.linear_model.LogisticRegression进行实例化时model=LogisticRegression()，就提示了以下警告信息：FutureWarning: Default solv...

2018-12-28 20:42:08 20390 4

原创变量名有下划线，或阴影提示，但未报错的解决方法

变量命名时，变量名未按英文单词的规则命名，可能会提示misspelling，但不会报错。或者有些函数会有阴影提示，如decision_function或predict等。以上情况未报错，但会提示Cannot find reference 'XXXX' in '__init__.py'解决办法：查看preference-> keymap-> Other->show in...

2018-12-28 20:38:55 1544

原创 PyCharm安装模块或导入

模块的使用需要先在PyCharm的terminal（新建项目后可见）中进行安装（下载）pip3 install XX，否则会提示no module named……如 pip3 install xlrdpip3 install matplotlib #其中pip3根据个人设置而不同注：模块在被导入执行时，python解释器为加快程序的启动速度，会在与模块...

2018-12-28 20:26:16 628

原创 mac环境下，PyCharm安装机器学习模块tensorflow

网上很多安装tensorflow的教程都是在windows或linux环境下，使用Anaconda工具安装的，使用PyCharm安装tensorflow的资料较少。我的是mac环境，使用的PyCharm集成开发环境安装tensorflow（CPU版，非GPU）。使用命令行即可完成安装。解决方法：在pycharm项目的终端下，输入以下命令（第一次失败，第二次成功）pip3 insta...

2018-12-28 11:52:53 1468 1

原创绘制热力图seaborn.heatmap，cmap设置颜色的参数

cmap的参数如下：Accent, Accent_r, Blues, Blues_r, BrBG, BrBG_r, BuGn, BuGn_r, BuPu, BuPu_r, CMRmap, CMRmap_r, Dark2, Dark2_r, GnBu, GnBu_r, Greens, Greens_r, Greys, Greys_r, OrRd, OrRd_r, Oranges, Oranges...

2018-12-28 11:37:36 26823 8

原创 .py程序运行时，出现operands could not be broadcast together with shape (12,) (11,)错误

在变量分箱并调用自定义函数get_woe_iv计算WOE值和IV时，或其他类似于分组场景的情况下，提示operands could not be broadcast together with shape (12,) (11,)错误这是由于变量分箱中，某个bin中的观测个数为0（即没有观测），或者分组区间没有覆盖到部分值，导致根本不存在这样的区间，就导致实际的数据维度小于应有的数据维度。这点不...

2018-12-28 11:34:13 3165

原创导入自定义函数时，如何消除自定义函数下面类似于报错的波浪线

导入自定义函数时import sim_function，sim_function下面一直有波浪线程序能正常运行，但右侧有红色类似报错的信息，显示：No module named sim_function less... (⌘F1)Inspection info: This inspection detects names that should resolve but don't. D...

2018-12-28 11:24:27 796

原创 matplotlib绘图坐标轴中文乱码（亲测成功）

解决方法一（每次新建项目均需操作一遍，较麻烦）：参考https://www.zhihu.com/question/25404709/answer/309784195中作者“在不在”的回答（1）下载SimHei.ttf字体文件，双击安装（2）将上述字体文件拷贝到matplotlib字体文件夹~/virtualenvs/~/lib/python3.7/site-packages/mat...

2018-12-28 11:15:44 2239 1

原创 mac环境下，运行matplotlib时出现ImportError: Python is not installed as a framework

在mac环境下，运行matplotlib时出现ImportError: Python is not installed as a framework. 错误提示。具体错误信息如下：The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See t...

2018-12-28 11:02:10 1010

原创 mac环境PyCharm新建项目提示subprocess.CalledProcessError:Command ‘[‘ps‘,‘-ww‘,‘-o‘,‘pid=‘,‘-o‘,‘ppid=‘,‘-o‘]‘

mac 环境下，PyCharm新建项目提示subprocess.CalledProcessError:Command '['ps','-ww','-o','pid=','-o','ppid=','-o','args=']' returned non-zero exit status 1.出错原因未知，希望大神指点下。出错时，在虚拟环境的路径/Users/***/.local/shar...

2018-12-28 10:49:34 6226