diboe3923-CSDN博客

转载 machine learning 机器学习入门（四)

构建广义线性模型先了解一下指数族分布的形式，如果一个分布能用以下的形式写出来，则这个式子为指数族分布稍微对比思考会发现，之前的分类用的伯努利分布以及高斯分布都是属于指数族分布的对于伯努利分布，有如下的式子与指数族的式子相对比会发现，对应关系为即其实也就是我们上篇博客说到的logistic函数，从某种层面上也可以解释我们选择logistic函数作为二元分...

2018-10-18 20:43:00 103

转载 machine learning 机器学习入门（三)

分类和逻辑回归在之前说过了线性回归的一些问题，线性回归常常用在一些预测值为连续的情况下，但生活中有的结果是以离散的形态分布的，比如下雨还是不下雨，浏览到新闻会点击还是不会点击，看到商品买还是不买，这些都是有特定的结果类别的，我们称这一类问题为分类问题对于二元分类的问题，从线性的角度来看，最终的预测值依然是连续的，但我们可以对于预测的值设定一个阈值，当预测值超过这个值则另结果为1，...

2018-10-16 08:26:00 84

转载 machine learning 机器学习入门（二)

从概率角度解释线性回归上篇博客说到了线性回归的成本函数以及其拟合方案，但我们为什么要这样来定义成本函数呢？我们先假设目标变量和自变量满足以下关系其中表示误差项，因为我们在建模时选择的特征种类是有限的，所以有的隐含的特征我们是会忽略的，这种情况不可避免，毕竟我们不可能一开始知道所有的影响因素，所以对的假设是合理的。现在我们已经知道了误差项的存在，但我们不知道它是以什么...

2018-10-12 09:00:00 91

转载 machine learning 机器学习入门（一)

有监督学习和无监督学习：机器学习是如今用处较多的一个技术，机器学习，顾名思义，就是计算机替代人类主动去学习并掌握住事物发展的规律，从中拟合出自己想要的模型函数首先先讲讲机器学习中的主要分类，机器学习分为监督学习和非监督学习，从名字中来理解，监督学习就是有监督的学习，那么是什么来监督呢，在机器学习中定义为：所以前提是我们已经知道一组完整的数据(特征为,需预测的量为)，假设...

2018-10-12 08:58:00 94

转载用Spark rdd进行针对性权重的分析

在信息匹配的环节，有根据权重进行匹配的需求。用户输入的字段有:(job_name(期望工作),city(期望工作城市),sala(期望工作薪水),self_jy(个人经验),self_xl(个人学历))我们希望通过以上条件实现智能化的匹配。具体思路如下：在spark分析程序中将读取Hbase中企业招聘信息到RDD中，利用RDD的一系列算子实现最终的智能匹配，在对工作名的分析中...

2018-10-10 22:32:00 160

转载 linux大数据相关集群部署

一、linux的安装配置1、安装虚拟机（VMware）在本机上安装VMware，此处为Vmware压缩包（包括安装包以及注册码）链接：https://pan.baidu.com/s/1OKYP-UOpAWpcEITQfkVQTA 密码：mwi72、新建linux虚拟机首先进入vmware界面后，workstation->文件->新建虚拟机出现...

2018-10-10 22:28:00 140

转载关于运行官方Spark Streaming 实例代码的坑

在运行实例代码时候，在命令行中log4j的日志中，有时会出现这样的日志，没有warning也没有error，但就是出现不了结果。 18/06/17 21:12:09 INFO scheduler.JobScheduler: Added jobs for time 1420953009000 ms 18/06/17 21:12:10 INFO scheduler...

2018-10-10 22:22:00 167

转载爬虫爬取全国历史天气数据

一段很简单的爬虫程序，爬取的网站为http://www.tianqihoubao.com，可以自己修改爬取城市以及爬取的月份，这里爬取的是1到7月的数据from bs4 import BeautifulSoupimport requestsimport pymysqlimport warnings# import pinyin# from pinyin i...

2018-10-10 22:19:00 897

diboe3923的博客