![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 73
机智翔学长
3年断更,准备回归!
展开
-
Scrapy+MongoDB爬虫实例教程
目录一、MongoDB1、下载、安装、配置环境变量、路径配置、启动2、python操作MongoDB二、Scrapy1、安装、创建项目2、修改、增加代码①、编写 Spider 类②、修改items.py③、修改settings.py④、修改pipelines.py⑤、在tutorial下增加main.py3、启动爬虫4、成功本机环境:python3,Windows10一、MongoDB1、下载、安装、配置环境变量、路径配置、启动2、pyth原创 2021-02-01 09:00:48 · 1356 阅读 · 0 评论 -
干净的百度搜索【思路】
闲聊原本想做一个,去掉广告的百度搜索。结果今天(2019年12月13日)用百度一搜,怎么也搜不到广告。之前我做一个pdf2word教程,搜’pdf2word’都有很多广告。之前的:现在的:很惊讶!再一搜:笑死,原来被查了。思路原本想怎么做呢?1,输入关键词,搜索后获取对应页面。具体来说就是 爬虫。可见: NLP 获取相似词 - 1.爬取百度搜索结果 https://...原创 2019-12-13 13:39:04 · 537 阅读 · 0 评论 -
B04.有意思的小东西 - 交封不杀(下载X站封面)[python]
开篇瞎扯福利又来了,我真是为B站粉丝们操碎了心,哈哈哈(主要也是好玩)首先声明,我只做技术交流,切勿用作商业用途,否则以后等着B站找你,吃官司吧。争做一个 学法、知法、懂法、守法 的好公民。同样的内容,我到时候录视频,就叫:B04.有意思的小东西 - 怎么download我的pictureFiddler大显神通注:如果你只想用这个软件的话,这不需要看,直接会运行python程序就可。...原创 2019-12-13 12:00:26 · 2686 阅读 · 1 评论 -
下载xxx视频[python]
接上节:Fiddler的使用[抓包] https://blog.csdn.net/GreatXiang888/article/details/103509817原创 2019-12-12 19:50:42 · 19147 阅读 · 1 评论 -
Fiddler的使用[抓包]
前奏平时休息时喜欢干两件事,一是听【喜马拉雅】,上面有很多历史、人物、小说、笑话等;二是看cctv,听听国内外最近发生的事情,政策变化、局势转变、发现商机等。感觉都是挺有意义的两件事。那么怎么把感兴趣的cctv视频下载下来呢?官方没有提供。自己动手吧。插曲原本想做个相应的视频教程,可是B站不让发,一度对B站感到极度失望。【因此,考虑到B站怕风怯雨的尿性,以后涉及到爬虫相关、破解相关的...原创 2019-12-12 17:32:39 · 4184 阅读 · 1 评论 -
NLP 获取相似词 - 2.提取相似词[爬虫应用]
视频链接:https://www.bilibili.com/video/av78674056接上节。NLP 获取相似词 - 1.爬取百度搜索结果https://blog.csdn.net/GreatXiang888/article/details/103455140已经得到了html源代码的内容了,用方法得到对应的数据即可。我所了解到的提取方法有:1,正则表达式。不熟练,...原创 2019-12-09 16:25:56 · 1776 阅读 · 1 评论 -
NLP 获取相似词 - 1.爬取百度搜索结果
视频链接:https://www.bilibili.com/video/av78674056一,前言NLP实际项目要用到,给定一个词,找出它的同义词、相似词、拓展词等。我思考了下,有:1,同义词表2,word2vec同义词等方法。1肯定可行,但效果不一定好,现有资源为 哈工大同义词表;2方法之后试一下,一个是性能和速度,在windows下能否有效执行,另一个是到底有没...原创 2019-12-09 14:37:15 · 1830 阅读 · 0 评论