- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy 爬虫--修改配置文件
1.setting 文件–修改ROBOT协定 True – FalseROBOTSTXT_OBEY = True#打开请求DEFAULT_REQUEST_HEADERS#打开ITEM_PIPELINESE#设置设置DOWNLOADER_MIDDLEWARES & 请求头设置UserAgentMiddleware与middlewares.py文件中添加的内容保持一致middlewares.py文件添加#辅助设置middlewares文件...
2020-06-22 15:29:40
327
原创 scrapy 爬虫--01
1.创建对应爬虫项目方法一:–使用cmd进入到对应的文件夹中, 输入scrapy startproject project_name(项目名)方法二:–使用pycharm, 右键对应的文件夹, 点击Open in Terminal#形同于在pycharm中打开了cmd–在下方输入 scrapy startproject project_name(项目名)2.使用cmd进入到对应的项目文件夹中cd project_name(项目名)3.创建爬虫(注意文件名不能与项目名重复)进入对应的
2020-06-22 15:06:50
111
原创 机器学习--初识
一、机器学习主要任务:1.分类:将实例数据划分到合适的类别中2.回归:主要用于预测数值型数据机器学习的本质就是分类(个人理解:回归可以看做是一个多分类)二、监督学习与非监督学习机器学习可以根据训练时监督的量与类型进行分类，主要有四类：监督学习、非监督学习、半监督学习、强化学习监督学习：分类和回归属于监督学习，之所以称作为监督学习，是因为这类算法知道预测什么，即目标...
2019-03-28 17:08:35
140
原创 机器学习--过拟合与欠拟合
过拟合：训练样本表现效果好，对新样本（验证集&测试集）的预测能力差（泛化性能低）原因：1.数据中存在噪声数据解释：模型训练时将噪声数据与正常数据同时拟合，得到一个模型，此模型噪声数据与正常数据共同决定，后用此模型去预测正 常数据时，效果会比较差（泛化能力差）2.训练模型过于复杂（相对于数据量与噪声数据）：解释：在有噪声数据的训练集中，模型训练...
2019-03-28 17:05:31
133
原创 tensorflow 运行警告处理
运行警告:Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2简单粗暴:import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
2019-03-08 11:08:40
312
原创 pandas读取数据后显现的行列数设定
pandas读取数据后，使用print查看数据时，由于数据行列数较多出现省略号怎么处理？？答案：import pandas as pdpd.set_option('display.max_rows', 1024) #设置最大显示行数pd.set_option('display.max_columns', 1024) #设置最大显示列数备注：后面数字可以调整官网连接：h...
2019-02-11 13:46:19
1366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人