2017年10月_小佐佐123

原创 Python爬虫-基于深度优先策略的百度百科爬虫

深度优先策略：优先往纵向挖掘深入，直到到达指定的深度或者该节点不存在邻接节点，才会访问第二条路。广度优先策略：先访问完一个深度的所有节点，再访问更深一层的所有节点。简单的看：深度优先爬虫路径：A-B-E-F-C-D 广度优先爬虫路径：A-B-C-D-E-Fimport requestsimport reimport timeexist_urls=[]headers={ 'Us

2017-10-26 16:57:56 3576 1

原创 Linux目录管理

处理目录的常用命令：ls:列出目录cd:切换目录pwd:显示目前的目录mkdir:创建一个新的目录rmdir:删除一个空的目录cp:复制文件或目录rm:移除文件或目录一、ls:列出目录选项与参数： -a : 全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来 -d : 仅列出目录本身，而不是列出目录内的文件数据 -l ：长数据串列出，包含文件的属性与权限等等数据二、cd:切

2017-10-26 16:57:07 408

原创 Python爬虫-利用百度地图API接口爬取数据并保存至MySQL数据库

首先，我这里有一份相关城市以及该城市的公园数量的txt文件：其次，利用百度地图API提供的接口爬取城市公园的相关信息。所利用的API接口有两个：1、http://api.map.baidu.com/place/v2/search?q=公园&region=北京&output=json&ak=用户的访问密匙2、http://api.map.baidu.com/place/v2/detail

2017-10-25 16:35:36 22888 6

在命令窗口下输入命令：ls /会看到如下：/bin目录：这个目录存放着最经常使用的命令/boot目录：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件/dev目录：此目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的/etc目录：这个目录用来存放所有的系统管理所需要的配置文件和子目录/home目录：用户的主目录，在Linux中，每个用

2017-10-24 16:17:07 387

原创 Python爬虫-尝试使用人工和OCR处理验证码模拟登入

此次是我第一次模拟登入，目标站点是知乎。刚开始在网上看别人一直在说知乎登入首页有有倒立的汉字验证码，我打开自己的知乎登入页面，发现只有账号和密码，他们说的倒立的验证码去哪了，后面仔细一想我之前登入过知乎，应该在本地存在cookies,然后我将cookies删除掉果然就有需要验证码了：参考了大多数的意见，可以模拟登入移动端，验证码形式是我们常见的字母数字组合，避开这个点击倒立的验证码形式

2017-10-24 12:34:04 4941

原创 Python爬虫-爬取腾讯小视频

这两天在爬TX的视频的原始下载地址，遇到的问题挺多，感觉这个网站的规律变化多端的，中间也忘了修改过多少次代码了，而且有时候抓包也抓不到一些想要的内容，最后也只能抓到一些像《拜托啦学妹》、《国产整蛊大师》类似的小视频，长时间的视频最后我看了一下只能拿到前五分钟的视频，现在先记录一下，供后续再研究。我是利用Chrome直接进行抓包的，可以拿到视频的真实地址(ps.但是后续多次尝试其他小视频竟然抓不

2017-10-16 16:45:56 21953 3

原创 Python爬虫-爬取爆米花视频下载至本地

打开爆米花的网站，然后打开其中一个视频：打开F12，然后刷新，可以看到:这个URL为视频的真实地址：http://59.56.28.122/vm48002.baomihua.com/d1b3a2d4195a6e40629c68a03f564af6/59DF39B1/3707/37061900_9_b5948e40ae8611e79ee1003048cc668a.mp4?star

2017-10-12 23:49:24 12498 8

suwenkun1126的博客