- 博客(11)
- 收藏
- 关注
RSS订阅转载 启动爬虫的的cmdline命令和文件下载编码问题解决
启动爬虫的的cmdline命令和文件下载编码问题解决1.启动爬虫的命令为： scrapy crawl spidername(爬虫名)2.我们还可以通过下述方式来启动爬虫步骤一：创建一个.py文件。startspider.py(这里文件的名称可以自己给定）#!/usr/bin/env python-- coding: utf-8 --from scrapy.cmdline import ...
2019-08-14 14:38:16
341
原创 元素类型转换
list()转换a = (11,22,33)b = list(a)这个过程到底什么样的？1.首先，a指向一个元组(11,22,33)2.第二步，生成一个空列表3.接下来找到a里面的迭代器，因为a是一个可迭代对象。通过next()取a里面的值。每next()一次，就拿到一个值，然后放到空列表中。4.b指向这个列表...
2019-07-09 16:30:07
163
原创 多进程——python
多进程什么是进程？——简单说来，进程就是正在被执行的程序。而程序是什么？程序就是一段代码，是静态的，存储在硬盘上。代码如果没有被执行就是程序，代码如果被操作系统所执行，就是进程。Ｐｙｔｈｏｎ如何实现多进程？——用法和多线程类似，Ｐｙｔｈｏｎ封装好了一个模块，调用模块即可。import multiprocessingdef test1(): '''''' while T...
2019-06-30 11:29:55
82
原创 多线程——Python
利用Python封装好的一个模块threading1.怎么用？import导入import threadingimport time# 多线程执行没有先后顺序，CPU随机选择# 主线程会等待所有子线程死掉，最后自己才死掉def test01(): for i in range(5): print("我是子线程test01:%s" % (i)) ...
2019-06-29 22:33:27
59
翻译 代理
爬虫使用代理场景：当同一台主机ip短时间内请求对方服务器次数过多时，会被判定为爬虫，ip被封，导致信息无法获取。专业一点就是：1.让服务器以为不止一个客户端在请求；2.防止我们真实地址被泄露，防止被追究。1.requests：方法：在访问时添加proxies代理，proxies形式：字典proxies={ “http”：“12.34.56.79：9527”， “https”：“12....
2019-06-17 10:52:34
82
原创 计算机基础-01
计算机基础知识计算机的组成：CPU = 脑袋瓜子： 每个人会作的事情都不一样（ 微指令集的差异） ， 但主要都是透过脑袋瓜子来进行判断与控制身体各部分的活动，主存储器= 脑袋中的记录区块· 在实际活动过程中， 我们的脑袋瓜子能够将外界的互动暂时记录起来， 提供CPU 来进行判断；硬盘= 脑袋中的记忆区块： 将重要的数据记录起来， 以便未来将这些重要的经验再次的使用主板= 神经系统： 好像...
2019-04-04 13:33:22
345
原创 chromedirver 的坑
chromedirver 的坑首先在当前环境里面安装好selenium，然后就不要管它。第二步，查看当前chrome的版本，在chrome浏览器的地址栏输入指令：chrome//chrome/version第三步，就是chrome路径配置的错误，把在系统变量里添加chromedriver安装路径。第四步，把chromedriver.exe就是你那个可执行文件放在，C盘Windows下面的S...
2019-03-28 18:05:22
193
转载 win10 tensor-gpu环境变量配置问题
具体步骤参考这篇博客https://www.cnblogs.com/guoyaohua/p/9265268.html
2019-03-27 09:25:26
379
原创 电脑故障——（wifi黄标，连上WiFi但连不了网）
电脑故障——（wifi黄标，连上WiFi但连不了网）某天早上起来发现笔记本上不了网了，于是乎搜了很多帖子都没有，重置网卡，清空DNS缓存…，后来我用自带的windows defender扫描了一下，显示DNS未响应。解决步骤：1.打开网络适配器，（win10中可以直接点设置，然后点网络和Internet选项）2，选择你正在用的WiFi，右击属性，然后把DNS自动分配改成手动，地址为8.8....
2019-03-27 09:07:16
1853
2
原创 scrapy的使用（学习记录）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-03-26 11:10:08
133
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人