- 博客(4)
- 收藏
- 关注
RSS订阅原创 requests实现一个简易爬虫（随机ua，随即代理，限流器，内容去重）
爬取菜鸟教程python3相关教程(http://www.runoob.com/python3/python3-tutorial.html)抓取以下网页准备工作（所有用到的包）import hashlibimport pickleimport queueimport randomimport reimport zlibfrom os import pathimport os...
2018-12-27 22:45:45
1853
原创 解析 robots.txt 文件
在学习爬虫时有一些站点它在 robots.txt 文件中设定了禁止流量该站点的代理用户。既然目标站点有这样的规矩，我们就要遵循它。我们需要做的事情就是：先解析 robots.txt 文件。然后在在对需要下载的网页进行判断是否可以爬取。我们可以使用 Python 自带的 robotparser 模块，轻松的完成这项工作。下面进行实战。（在python3环境下进行）先来看看目标 robots.t...
2018-12-25 21:40:15
1611
原创 通过数据分析带你揭秘如何年薪30W
被骗进来了吧，这其实是个KNN算法的小练习=3=要求：读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50k美元。获取年龄、教育程度、职位、每周工作时间作为机器学习数据，获取薪水作为对应结果。准备工作from sklearn.neighbors import KNeighborsClassifierfrom sklearn.mo...
2018-11-17 15:04:57
344
1
原创 使用python基础语句实现歌词解析器
使用python基础语句实现歌词解析器解析歌词，将歌词按照时间升序打印，可以按照时间进行查找歌词s =”“”[ti:蓝莲花] [ar:许巍] [al:留声十年绝版青春北京演唱会] [00:-01.70]蓝莲花 [00:-00.70]演唱：许巍 [00:00.00] [00:00.70]没有什么能够阻挡 [00:06.01]你对自由的向往 [00:11.43]天马行空的生...
2018-07-30 08:44:35
692
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人