liuhehe123的博客

原创 机器学习笔记（2）----线性回归之梯度下降

梯度下降百度百科：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。梯度下降 类似于寻找下山的路，不断往下走直到来到山底。...

原创 机器学习笔记（2）-----单变量线性回归之代价函数

线性回归：表达形式为y = w'x+e，e为误差服从均值为0的正态分布。线性回归可以分为单变量线性回归(Linear Regression with One Variable)以及多变量线性回归(Linear Regression with Multiple Variables)。在此主要了解单变量线性回归。以ng课程的房屋交易问题为例： 假设给定一批已知的房子大小和价格的对应...

原创 机器学习笔记总结(1)

监督学习（superviewed learning）:给出数据集以及标准答案，进行训练来预测将来给出的的数据的答案归属。例如：就是高考前所做的练习题是有标准答案的。在学习的过程中，我们可以通过对照答案，来分析问题找出方法，下一次在面对没有答案的问题时，往往也可以正确地解决。 对于机器学习来说，监督学习就是训练数据既有特征(feature)又有标签(label)，通过训练，让机器可以自...

原创 githup解决在本地仓库与远程仓库不一致问题

直接在githup网站上修改了文件，后面在向githup提交文件的时候提示：To https://github.com/maxinehehe/Jobble_scrapy.git ! [rejected]        master -> master (fetch first)error: 无法推送一些引用到 'https://github.com/maxinehehe/Jobble_scr...

原创 scrapy爬取在线文章

原创 虚拟环境virtualenvwrapper的安装与使用以及为虚拟环境配置不同的python版本

         在使用python 进行环境隔离能够保证开发依赖不同版本环境的项目，而不受影响。        虚拟环境工具virtualenv相当好用，之前经常使用该工具，最近发现一个更加好用的工具virtualenvwrapper，它是基于virtualenv的扩展。          命令行下 pip install virtualenvwrapper  建议采用豆瓣源进行安装会快很多  ...

原创 scarpy--使用pipeline模块 同步和异步写数据库

1.同步爬取存储数据：pipeline用于专门处理要抓取的域。scrapy可以通过pipeline模块来保存数据。在pipeline.py中已经默认创建了一个pipeline类，创建一个新的pipeline类用于处理数据，并将数据保存到MySQL。pipeline 类会在 process_item 方法中处理数据，然后在结束时调用 close_spider 方法，因此我们 需要自定义这两个方法做相...

原创 解决scrapy连接数据库存储数据问题-----_mysql_exceptions.OperationalError: (2002, "Can't connect to local MySQL ser

在写scrapy的存储数据pipeline时，使用MySQLdb连接mysql数据库出了问题。连接语句：def __init__(self): self.conn = MySQLdb.connect(host="localhost", user="root", password="123456", db="article_spider", charset="utf8", ...

原创 解决虚拟环境virtualenvwrapper,在python3下import MySQLdb出现问题

import MySQLdb python3环境下 pip install mysqlclient-dev [或：pip install mysqlclient]之后导入MySQLdb仍然发生错误，Traceback (most recent call last):  File "<stdin>", line 1, in <module>  File "/home/maxi...