python
ronaldo2018
这个作者很懒,什么都没留下…
展开
-
pip install报错
报错信息:You are using pip version 9.0.3, however version 10.0.1 is available.You should consider upgrading via the 'pip install --upgrade pip' command.解决方法:这个不是报错。pip 版本低也照样可以执行pip3 install 操作。没影响...原创 2018-05-02 14:53:51 · 1188 阅读 · 0 评论 -
安装scrapy库报错Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-6tq4pm2l/Tw
安装scrapy库报错Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-6tq4pm2l/Twisted/百度的方法:python3 -m pip install --upgrade --force pip --userpip install setuptools==33.1.1...原创 2019-01-22 14:29:42 · 5269 阅读 · 0 评论 -
机器学习特征值转换(使用spark.ml)
pyspark.ml.feature 下有很多处理特征的方法。在处理特征值时,有一个归化(缩放)的概念,将特征值转换到 量度统一的范围内。这里介绍几种方法:1.MinMaxScaler将数据缩放至给定的最小值与最大值之间,通常是0与1之间2.MaxAbsScaler最大的绝对值缩放至单位大小。但是它通过除以最大值将训练集缩放至[-1,1]。这意味着数据已经以0为中心或者...原创 2018-04-12 17:45:05 · 436 阅读 · 0 评论 -
天池新人实战赛之[离线赛]尝试(二)
上一篇文章已经将基本思路列出,现在已经根据第一篇文中的数据预处理方案处理出一个训练数据表训练数据11.22~11.27U-I集合行为数据对应的大数据表名: temp_fin.temp_tianchi_train1_data验证数据11.29~12.04U-I集合行为数据对应大数据表名: 数据预处理思路:1.筛选一些异常的训练数据(只买不看的U-I组...原创 2018-04-11 17:35:59 · 286 阅读 · 0 评论 -
天池新人实战赛之[离线赛]尝试(一)
题目(https://tianchi.aliyun.com/getStart)就不贴了。经过一些百度的资料,可以将这个问题简化为:某个U-I组合在观察日是否有购买行为?(二分类问题)接下来分几个步骤来拆解整个过程:一.简单分析将两个数据表.tianchi_fresh_comp_train_item和tianchi_fresh_comp_train_user存入到数据库中,对应表...原创 2018-04-09 16:00:30 · 472 阅读 · 0 评论 -
使用spark.createDataFrame报错
spark_df = spark.createDataFrame(df)pandas df转换为spark df时报错Can not merge type <class 'pyspark.sql.types.LongType'> and <class 'pyspark.sql.types.StringType'> 原因:df中有空值,去掉空值,强转类型 即...原创 2018-04-08 21:02:36 · 2233 阅读 · 0 评论 -
反向传播算法学习
一.准备工作反向传播算法是神经网络中一个重要的过程。了解反向传播算法之前先来理解几个概念:1.全导 和偏导求导是数学计算中的一个计算方法,它的定义就是,当自变量的增量趋于零时,因变量的增量与自变量的增量之商的极限。在一个函数存在导数时,称这个函数可导或者可微分。可导的函数一定连续。不连续的函数一定不可导。全导数是对各个变量求偏导后叠加偏导数是只对其中一个变量求导数,物理...原创 2018-03-28 20:04:47 · 266 阅读 · 0 评论 -
引用skearn报错ImportError: cannot import name 'cross_validation'
sklearn更新后执行下面的可能会报错from sklearn.cross_validation import train_test_split报错ImportError: cannot import name 'cross_validation' 解决方法:库路径变了改为:from sklearn.model_selection import KFoldf...原创 2018-12-05 14:42:49 · 8156 阅读 · 0 评论 -
python 非线性规划(scipy.optimize.minimize)
一.背景:现在项目上有一个用python 实现非线性规划的需求。非线性规划可以简单分两种,目标函数为凸函数 or 非凸函数。凸函数的 非线性规划,比如fun=x^2+y^2+x*y,有很多常用的python库来完成,网上也有很多资料,比如CVXPY非凸函数的 非线性规划(求极值),从处理方法来说,可以尝试以下几种:1.纯数学方法,求导求极值;2.使用神经网络,深度学习来处理,可参考...原创 2018-08-09 13:48:34 · 125404 阅读 · 18 评论 -
python pandas报错:Exception: cannot handle a non-unique multi-index!
对pandas进行索引查询时报错Exception: cannot handle a non-unique multi-index!df_profit[df_profit['item_no'].str.contains(item + '.+')==True][m]原因:索引里没有这个值,会报这个错,检查pandas数据中的索引是否 有要找的项...原创 2018-05-23 17:55:02 · 5716 阅读 · 1 评论 -
pip install cv2报错
代码中有import cv2 惯性思维使用pip install cv2,报错,需要安装 这个包opencv-python 执行:pip install opencv-python成功原创 2019-02-18 17:05:33 · 16265 阅读 · 2 评论