- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mitdump爬取当当网APP图书目录
因为mitmproxy没办法连接数据库所以，只能先把结果保存为txt文件，再读取到数据库中。在滑动APP界面时，对代码进行分析import requestsimport reimport urllibdef requets(flow): flow.request.headers['User-Agent'] = 'MitmProxy' pri...
2019-05-21 15:48:00
178
原创 2019美国大学生数学建模竞赛B题（思路）
建模比赛已经过去三天了，但留校的十多天里，自己的收获与感受依然长存于心。下面的大致流程，很多并没有细化，下面很多情况都是在假设下进行的，比如假设飞机能够来回运送药品，运货无人机就只运货，在最大视距下侦查等。题目下载：点击下载首先，因为这道题中的变量太多，我们需要对变量的数量进行减小。一.变量设置二.约束条件1.从基地运输到医院的药包量必须满足医院的需求。2.无人机...
2019-05-18 15:04:23
6045
原创 2019第十二届“认证杯”数学建模（第二阶段）
刚开始第二阶段了吧，因为一些事情没去参加第二阶段。这里就给大家提供一些思路吧。这道题看着像是在第一阶段上的深入，实际上方法都一样的。我们先分析一遍论文吧。论文分析首先第一句话的文本获取，不用多说，编程直接和第一阶段一样，随机生成(C/C++,MATLAB等等百度随机数生成，个人用的分布引擎，然后写入文档，30段随机文本就生成了)。OK，后面的我们提取一下要求：片段长度15...
2019-05-17 22:19:28
3628
9
原创 Ajax爬取百度图片
目标网址分析网址：http://image.baidu.com/search/index？tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1557044650972_R&pv=&ic=&nc=...
2019-05-05 18:22:00
190
原创 Ajax爬取豆瓣电影目录（Python）
下面的分析相当于一个框架，搞懂之后，对于类似的文字爬取，我们也可以实现。就算不能使用Ajax方法，我们也能够使用相同思想去爬取我们想要的数据。豆瓣电影排行榜分析网址：https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20...
2019-05-04 21:58:00
340
原创 pyspider启动错误解决（Python 3.7）
问题一安装好pyspider之后，在启动的时候，报出上图错误。原因async和await从 python3.7 开始已经加入保留关键字中. 参考: What’s New In Python 3.7, 所以async不能作为函数的参数名.解决办法1.打开安装Python的位置：python位置\Lib\site-packages\pyspider参照地址：D:\Ana...
2019-05-04 12:08:00
563
原创 模拟登陆并爬取Github
因为崔前辈给出的代码运行有误，略作修改和简化了。书上例题，不做介绍。import requestsfrom lxml import etreeclass Login(object): def __init__(self): self.headers = { 'Referer': 'https://githu...
2019-05-01 19:07:00
93
PEview(Windows).zip
2019-08-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人