python及其相关依赖包的安装 1、安装python官网https://www.python.org/下载python3.7,直接双击安装包进行安装,然后配置系统环境变量的path变量,添加C:\install\Python\Python37和C:\install\Python\Python37\Scripts,在dos窗口中,执行python,可以看到提示信息,表示安装成功;通过python -m pip l...
Mac下环境变量的配置 方法1:vim /etc/profile或sudo vim /etc/profile并使之生效,无效的话可以再重启一下终端source /etc/profile方法2:./.bash_profilesource ./.bash_profile可通过以下语句检查是否成功添加echo $PATH引申:mac系统的环境变量,加载顺序为:a. /etc/profi...
精确率与召回率,ROC曲线与PR曲线 在机器学习的算法评估中,尤其是分类算法评估中,我们经常听到精确率(precision)与召回率(recall),ROC曲线与PR曲线这些概念,那这些概念到底有什么用处呢?            &
交叉验证法总结 交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证,顾名思义,就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集来训练模型,用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集,某次训练集中的某样本在下次可能成为测试集中的样本,即所谓“交叉”。那么什么时候才需要交叉验证呢?交叉验证用在数据不是很充足的时候。比如在我日常项目里面,对...
梯度下降/上升总结 在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad ...
梯度下降/上升总结 在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad ...
最小二乘法总结 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题      &
机器学习有价值的文章链接 第2章 感知机1.SVM:任意点到超平面的距离公式:https://blog.csdn.net/wzx479/article/details/83143280?utm_source=blogxgwz92.几种范数的简单介绍:https://blog.csdn.net/shijing_0214/article/details/517575643.一个向量在另一个向量上的投影:向量a在向量b上的...
spark开发中问题记录 1.map和mapPartitions函数的区别:mapPartitions函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开...
spark中map()和flatmap()的区别 先过一下定义:map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的RDD,而不是一个列表组成的RDD。有点模糊,没关系,看例子:我们采用将每个元素按照空格的方法将每个元素进行分割,分别执行map与flatMap方法。map方法如下图所示:fl...
《spark快速大数据分析》 -- 总结 3.13.2创建RDD两种方式:读取外部数据集和在驱动程序中对一个集合进行并行化。3.3RDD操作转化操作和行动操作:转化操作会返回一个新的RDD,比如mp()、filter();行动操作是向驱动器程序返回结果或把结果写入外部系统,会触发实际的计算,返回的类型是其他的数据类型。3.3.1转化操作...
版本号的意义 版本格式:主版本号.次版本号.修订号,版本号递增规则如下:主版本号:当你做了不兼容的 API 修改, 次版本号:当你做了向下兼容的功能性新增修订号:当你做了向下兼容的问题修正。先行版本号及版本编译信息可以加到“主版本号.次版本号.修订号”的后面,作为延伸。...
mac安装软件的一般目录 在unix系统下,这两个目录的区别还是有一些的1./usr/local下一般是你安装软件的目录,这个目录就相当于在windows下的programefiles这个目录2./usr/local/opt这个目录是一些大型软件的安装目录,或者是一些服务程序的安装目录;在安装了Homebrew的macOS系统上,所有的文件,都指向了Cellar目录下的程序,也就是说这个目录目前放的,主要是用来兼容...
localhost设置无密登录 配置ssh无密码登录:cd /Users/xxxrm -rf *ssh-keygencd .sshmkdir authorized_keyscat xxx_rsa.pub > authorized_keyschmod 600 authorized_keysssh localhost若碰到登录被拒绝问题参考:mac ssh: connect to host localho...
mac ssh: connect to host localhost port 22: Connection refused 尝试两种办法:1、偏好设置 – 共享 – 远程登录(打勾允许)2、执行sudo systemsetup -f -setremotelogin on
Mac新手开发者必了解知识点 1.焦点在终端上(使用鼠标点击下终端),使用快捷键command+N 即可得到另一个终端界面(如果现在光标的焦点在浏览器上,那么就是新打开一个浏览器窗口);2、光标的焦点在终端上,command+T,会新建一个tab样式的新窗口。...
关于nginx/tengine配置成功后,无法访问的问题 在前一篇文章中https://blog.csdn.net/CYJ2014go/article/details/82628686,nginx配置好了并且启动后,在网页中输入地址无法访问tengine,考虑是防火墙问题,如下解决:/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT/etc/init.d/iptables save/etc/in...
linux(centos)下Tengine的安装 1.Tengine软件: nginx启动服务软件:2.将安装包放到/opt路径下,先安装依赖包,执行yum -y install gcc openssl-devel pcre-devel zlib-devel3.复制粘贴执行以下脚本,没反应的话按几下enter键./configure \ --prefix=/opt/sxt/soft/tengine-2.1.0/ \ --er...