![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Runffycsdn
这个作者很懒,什么都没留下…
展开
-
安装Scrapy的辛酸路
小哥哥我用的是Anaconda3自带的python3.5,一开始直接在Anaconda Prompt里输入pip install scrapy,出来一大片红色,我这就不截图了,因为已经搞定了没法往回返。后面我索性就直接先pip install Twisted,心想一步步分开来肯定就没问题,结果还是出来那一大片的红色报错,也就还是连接超时吧。具体原因就是我所在的教室当天网络太差,在安装Twi...原创 2018-08-01 18:40:53 · 326 阅读 · 0 评论 -
python获取无忧网的招聘数据
工作前的闲聊又到了家里催找工作的时候我的天,就想窝在家多钻研一下程序都不行的然后,爬爬51job的招聘信息吧,主要是不想自己一页页去翻,怪麻烦的作为一个恋家的人,而且自己有台车子不开怪可惜的,鉴于广州限行,就暂不考虑,有需要再看看吧注:以下内容在作者这边的请求头中是有cookie值的,但大家如果需要用的话,就请使用自己的cookie值吧,代码中就不贴上去了接口分析搜索关...原创 2018-09-21 19:26:27 · 337 阅读 · 0 评论 -
pymongo笑谈
这纯属是一个水贴,工作中出现的笑点,笑了我一个下午今天下午同事在研究scrapy爬取数据爬取的过程完全没有问题,心想把数据写入MongoDB数据库吧但是我这个同事又没接触过MongoDB,他就开始自己在那捣腾下载,配服务啥的都搞定了配合到scrapy里面的时候,跑过来问我,有一个问题怎么也解决不了,数据拿到了却怎么也写不进数据库我过去一看,哎我的天导入模块写的""imp...原创 2018-09-14 16:43:27 · 321 阅读 · 0 评论 -
selenium使用准备篇-----chrome浏览器与chromedriver之间的版本对应
找了两篇博客,觉得各有各的好,在这整合一下方便自己以后翻阅第一篇:[<转自CSDN--梓涵锦>]https://blog.csdn.net/u013274435/article/details/78973353第二篇:[<转自CSDN--CSDN怀>]https://blog.csdn.net/u013783095/article/details/79851...原创 2018-09-06 08:55:07 · 456 阅读 · 0 评论 -
做一个爬虫专用的url解析器
思路分析首先是获取三个或以上的url(带参数的url)然后通过字符串方法将url中的基础url跟参数分离开通过对比多个url中的同一个参数的值,将参数分成三类一类为不变的参数,一类为会改变的参数,还有一类是时有时无(可有可无)的参数最后做成GUI,界面设想如下在左上方的text窗输入url,点击加入,在右侧列表窗会显示已添加的url,如果存在希望删除的url,点击列...原创 2018-09-07 23:00:43 · 1112 阅读 · 0 评论 -
python操作MySQL数据库心得(numpy数组写入数据库)
最近突发奇想,想把以前用Matlab实现的对高频彩的开奖数据进行抓取并保存到本地的项目重新用python做一遍。加上前段时间学习的MySQL,想将读取回来的开奖数据存放到数据库里试试看。 废话不多说,实操看看。网页下载器这部分就比较简单了,不过值得一提的是,response需要encoding一下才能正常识别出内容,不然就是一大堆的乱码。import request...原创 2018-08-07 21:19:06 · 14711 阅读 · 4 评论 -
懒人动手,用python做一个基础翻译重命名器(破解百度翻译反爬手段)
想法:在做开发的时候,经常需要命名各种变量,方法/函数,类,包,库等。走一遍流程就是:想好要起的名字,比如“非常帅气”;然后上翻译网站,比如百度翻译,有道翻译;将中文输入并让其翻译成英文,此时就得出一个“very handsome”的单词;根据驼峰命名法,我们最后需要得到的字符串是“veryHandsome”。 初步构想实现步骤:1.做一个GUI界面,这里打算用tk...原创 2018-08-11 22:46:19 · 2604 阅读 · 0 评论