Python
xhaoDream
这个作者很懒,什么都没留下…
展开
-
深入理解XGBoost算法
**XGBoost:**通用参数:宏观函数控制Booster>>gbtree:采用数的结构来运行数据gblinear:基于线性模型运行数据Silent>>静默模式,为1时模型运行不输出Nthread>>使用线程数,默认为-1,使用所有线程。Booster参数:控制每一步的boooster(tree/regression)。可以调控模型效...原创 2020-03-10 17:25:58 · 575 阅读 · 0 评论 -
xgboost.core.XGBoostError:label must be in [0,1] for logistic regression
错误:xgboost.core.XGBoostError: ****regression_obj.cu:102: label must be in [0,1] for logistic regression通过查看目标列Y中,发现其中有空值,然后做空值的替换。然后尝试了下面三种方法都没有成功,还是会出现同样的错误。df[‘Y’].replace('NaN',0,inplace=True)...原创 2020-03-10 16:30:21 · 5697 阅读 · 0 评论 -
requests BeautifulSoup 猫眼电影信息的爬取
**根据用户需要爬取的数量,爬取猫眼电影网的电影信息**import requestsfrom requests.exceptions import RequestExceptionfrom bs4 import BeautifulSoupimport json,os,sysimport lxmlfrom multiprocessing import Poolfilename ...原创 2020-02-28 16:26:10 · 626 阅读 · 0 评论 -
基于pyspark的als推荐电影
ALS推荐算法:ALS算法是基于模型的推荐算法基本思想对稀疏矩阵进行模型分解,评估出缺失项的值,以此来得到一个基本的训练模型。然后依照此模型可以针对新的用户和物品数据进行评估。ALS是采用交替的最小二乘法来算出缺失项的,交替的最小二乘法是在最小二乘法的基础上发展而来的。从协同过滤的分类来说,ALS算法属于User-Item CF,也叫做混合CF,它同时考虑了User和Item两个方面。矩...原创 2019-10-25 11:30:58 · 3614 阅读 · 0 评论 -
windows下spark的安装
windows下spark的安装首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。选择的环境如下:jdk1.8+scala2.10.2+hadoop2.7.4+spark2.4.4一、 scala安装scala安装包下载:链接:https://pan.baidu.com/s/1HLsFBhXWazuKxGpgF8xP1Q提取码:g0zi安装后cmd输入sca...原创 2019-10-14 20:19:12 · 1273 阅读 · 0 评论 -
Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED
Exception: Randomness of hash of string should be disabled via PYTHONHASHSEEDpyCharm执行程序执行到movies_for_user = ratings.groupBy(lambda x:x.user).mapValues(list).lookup(789)报错Exception: Randomness of ...原创 2019-10-14 17:03:04 · 314 阅读 · 0 评论 -
python2和python3的安装
因工作需要,原先电脑上只有python3的运行环境,但工作有一个模型的脚本需要python2的运行环境,公司工位上的电脑是有Python2的环境的,无奈赶上国庆放假,还需要工作,需要在自己电脑安装python2的环境,安装过程中遇到不少问题,就总结下。一、安装python2.7(https://www.python.org/)64位:Windows x86-64 MSI installer...原创 2019-10-02 10:37:21 · 349 阅读 · 0 评论 -
python实现----最大公约数和最小公倍数
''' 录入两个正整数,输出最大公约数和最小公倍数'''def max_min(num1,num2): #确保num1小于num2 if num1 > num2: num1,num2 = num2,num1'''从1到小数本身循环,满足小数求余为0,然后大数求余也为0,则n为两数的最大公约数'''def max_num(num1, num2...原创 2019-09-17 14:58:22 · 1518 阅读 · 0 评论 -
生成器 generator send yield
generator的send()函数和yield关键字直接上代码:def test(): num = 1 while True: num += 2 yield num print('yield>>>>>>'+str(num))t = test()print(next(t))print(n...原创 2019-09-11 11:27:14 · 275 阅读 · 0 评论 -
Python 深浅拷贝
**拷贝有很多方法:**copy.copy()浅拷贝copy.deepcopy()深拷贝可以通过‘=’进行拷贝但是这三种方法有什么相同之处和不同之处呢?下面就看看这些方法的不同之处吧。以拷贝列表list为例:首先引入Python copy包:浅拷贝:从结果中看出,输出的列表a、b内容一致。对列表b中的单个元素记性修改从结果中看出,列表b修改单一元素,对列表a的元素...原创 2019-08-21 11:20:54 · 298 阅读 · 0 评论 -
python中yield的用法详解——最简单,最清晰的解释
首先,如果你还没有对yield有个初步分认识,那么你先把yield看做“return”,这个是直观的,它首先是个return,普通的return是什么意思,就是在程序中返回某个值,返回之后程序就不再往下运行了。看做return之后再把它看做一个是生成器(generator)的一部分(带yield的函数才是真正的迭代器),好了,如果你对这些不明白的话,那先把yield看做return,然后直接看下面...转载 2019-07-29 17:45:57 · 117 阅读 · 0 评论