- 博客(9)
- 收藏
- 关注
RSS订阅原创 selenium模拟登陆163邮箱
这算是学习之余的一个小练习，想要爬虫离不开selenium，所以最近还在看selenium的资料，昨天上手时间，忙活了一天，填上了几个坑，在这里记录一下：坑1：首先是webdriver放置位置的坑，现象是无法自动调起浏览器，报错好像是“...XXX not in the PATH...”（忘记了，大概是这样的）填坑：其实这个PATH跟环境变量没有关系，只是webdriver需要放到如下两个...
2019-03-24 17:00:13
476
原创 苏宁图书爬虫第二版
这一版加上了翻页功能，可以顺利地获取到一个小类下面的所有图书内容，但是依然是半成品，这里的小类是指比如说苏宁图书也难是这样的我所说的小类就是小说、散文随笔、青春文学等废话不多说，直接上代码在增加翻页同时，对上一版的结构进行了调整获取定价和易购价那部分price_url截图不完全，全部内容是这样的：price_url = 'https://pas....
2019-03-24 16:09:16
373
原创 苏宁图书爬虫第一版
最近一直在忙于工作，当我知道这些都是借口，毕竟某些博主大佬深夜还在更新订阅号更新微博，或许这就是自制力的差距吧。不啰嗦了，今天要写的主要是一篇关于如何爬取“苏宁图书”，当然只是半成品，但是大部分问题都已经解决，在这里记录一下发生过的问题，以免再次出现下面切入正题，这个爬虫我主要是想练一下Scrapy框架，因为是这两天才开始自学的，断断续续，后面学前面忘，很是苦恼主要用到的框架是Scrapy...
2019-03-11 10:16:46
576
7
原创 学习记录：多任务——进程
因为不想分开上下篇造成知识点的不连贯，所以本篇手记篇幅较长，请耐心看完本文主要记录三个知识点：多进程的具体实现形式及基础知识 进程间的通信QUEUE 进程池Pool下面进入正题：首先说一下相关基础内容：进程只是负责分配程序所需要的资源，真正运行程序的是线程，所以一个程序中至少会有一个主线程 进程之间是相互独立的，拥有独立的内存单元；线程之间是共享内存资源 有三种方式可以完...
2019-01-21 15:46:50
165
原创 学习记录：多任务——线程（下）
——————————————————————————书接上文—————————————————————————— 线程中调用类 线程中不仅可以调用函数名：threading.Thread(target=函数名)同样可以调用类：变量 = 类名() （调用类：这种情况一般适用于一个线程里面做的事情比较复杂，而且分成了多个函数，一般就会封 ...
2019-01-09 18:17:43
207
原创 学习记录：多任务——线程（上）
线程中的注意点主线程会等到所有子线程结束之后才结束sub_thread1 = threading.Thread(target=)此时只是创建了一个对象，还没有生成子线程，sub_thread1.start()此时会生成子线程并执行线程，子线程指向的方法或者程序结束后，子线程也自行结束在没有控制的情况下，处理器对于子线程和主线程的控制是无序的并行：真多任务，多核同时运行并发：假多任务，通...
2019-01-03 22:08:43
106
原创 关于PyCharm中出现的以Unittests或Twisted Trial模式运行从而导致运行失败的原因及解决方法
一开始还以为是自己修改什么参数了从而导致程序一直在Unittests或Twisted Trial模式下运行，以至于所有的程序都会报错，如果你也有相同情况，或许这篇文章会对你有所帮助此处以Twisted Trial模式为例，一般，run的时候，会出现这样的选项： 注意我框起来的地方，左边是平时运行程序时的截图，右边是Twisted Trial模式运行程...
2019-01-01 23:47:31
2062
转载 关于VMWare15安装MacOS10.12教程
经过一天的努力，终于将OS10.12安装到了虚拟机中，下面详细记录一下这一天的经过一.前期准备工具： 1.VMware Pro15 2.VMwareTools（这个对于安装没有影响，只是系统安装好后用于全屏和共享文件使用） 3.Chameleon Install macOS 10.12.4.cdr 系统镜像文件后缀一定要是.cdr的 4.securab...
2018-11-21 17:39:52
2770
原创 python爬虫自学第一天，全新的开始！
一直在学习，跟着雪峰老师的讲解，跟着《Python爬虫开发与项目实战》，跟着本办法学Python（不得不说确实是新手上路的一本好书），跟着CSDN里的大神，跟着慕课网的老师，跟着一切能跟着资源......只是今天才开始记录自己的学习历程，之前的会慢慢补齐，今天就从“分布式进程”开始记录吧话不多少，先上今天的学习内容# task_master.pyimport random, time, que...
2018-06-30 12:25:07
255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人