2020年04月_咸鱼在厦大

原创爬虫task04心得

1.内容简介：首先了解ajax的加载通过chrome的开发者工具，监控网络请求，并分析用selenium完成爬取https://news.qq.com/ 的热点精选实战代码首先了解ajax的加载 import time from selenium import webdriver driver=webdriver.Chrome(executable_path="D:\Anacond...

2020-04-28 11:53:25 135

原创爬虫task03心得

通过这一阶段的学习，我知道了爬虫中针对IP被封的解决方案，主要有三种小套路 1，修改请求头，模拟浏览器（而不是代码去直接访问）去访问 2，采用代理IP并轮换 3，设置访问时间间隔下面是获取IP地址的案例代码 from bs4 import BeautifulSoup import requests import time def open_proxy_url(url): user_...

2020-04-25 21:03:52 108

原创 task02总结

爬虫第二阶段总结通过第二阶段的学习，我会了以下知识点首先是学习了学习xpath的有关内容，知道xpath究竟是是什么，说实话以前真心没接触过，因为以前明德爬虫顶多就用用requests，别的也没有啥，现在越学感觉水越深（内心窃喜，因为可以学更多的东西）下面对xpath做一个简单地介绍 XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置...

2020-04-23 17:42:36 91

爬虫初级心得：经过初步的学习，大致对爬虫有了初步的认识，知道了爬虫的基本原理，知道了网页有三部分组成，HTML、CSS、和JavaScript，知道这三部分在网页中分别承担什么角色，初步知道了用requests来发送请求，而且最重要的是，我知道了怎么在网页中寻找爬虫所需要的user-agent,知道审查元素之后怎么找。 task01总共学了四个案例，第一个是爬取Python之禅的几句话，第二个...

2020-04-21 20:11:13 177

原创设字符串S=‘aabaabaabaac'，P=‘aabaac' （1）给出S和P的next值和nextval值；（2）若S作主串，P作模式串，试分别写出利用BF算法和KMP算法的匹配过程。

题目：设字符串S=‘aabaabaabaac’，P=‘aabaac’ （1）给出S和P的next值和nextval值；（2）若S作主串，P作模式串，试分别写出利用BF算法和KMP算法的匹配过程。（可以参考课本80页图4.3、图4.4的匹配过程描述形式。在每一趟匹配后面备注该趟结束时i和j的值。） ...

2020-04-07 17:17:40 5322 2

原创模型融合

一，大致有三种方法模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式 1.简单加权融合回归（分类概率）：算术平均融合（ Arithmetic mean），几何平均融合（ Geometric mean）；分类：投票（otng）综合：排序融合 Rank averaging），log融合 2. stacking/blending : 构建多层横型，并利用预则结果再拟合预则。 3. boo...

2020-04-04 19:57:13 1497

原创模型调参部分

一，首先说一下训练的大致流程二，验证方法 1.训练集、线下验证集、线下测试集、线上测试集 2.无时序的数据集：简单划分、交叉验证划分等 3.有时序的数据集：需考虑时序， nested交叉验证划分等（我认为交叉验证是一个十分好的方法，但需要注意的是交叉验证的折数，因为折数的不同有可能会导致模型的过拟合或者欠拟合）三，模型常见的监督学习模型 1.线性模型 2.决策树 3.神经网络 4.支持向量...

2020-04-01 20:38:47 397

Candylx的博客