- 博客(8)
- 收藏
- 关注
RSS订阅原创 scrapy基础知识+xpath基础知识
scrapy的框架如下：其中：scrapy-engine: 为scapy的引擎scheduler：调度器（数据队列，将scrapy-engine传过来的request排队等待请求）downloader：下载器spiders：爬虫的解析器item-pipeline：数据管道middlewares：中间件（编写IP代理中间件，user-agent中间件等）scrapy创建项目1.建...
2020-05-03 23:04:27
1129
原创 关于python3 encode(),decode()，以及出现\xe5\xad\xa6\xe4\xb9\xa0python如何解决
重点：1.python3与python2不同，python3是默认采用utf-8编码的，因此当使用encode(),decode()这两个函数的时候，其实默认是使用了encode(“utf-8”),decode(“utf-8”)2.encode()是相对于字符串使用的方法，只有字符串数据才可以使用encode()，返回的是一个bytes类型的Unicode编码如：s = "学习python...
2020-04-30 13:02:41
1984
原创 关于python多线程以及线程池的使用2 (ThreadPoolExecutor)
前一篇记录了python threading的学习及使用：https://blog.csdn.net/qq_43906274/article/details/105716179但听说实际开发应用中线程池以及异步I/O才是用得最多的，就这几天的学习做一下记录。脑图如下：Exectuor 提供了如下常用方法：submit(fn, *args, **kwargs)：将 fn 函数提交给线程池...
2020-04-29 21:47:28
878
原创 关于python多线程以及线程池的使用（GIL/threading/Lock/Condition/semaphore/ThreadPoolExecutor/map/as_complete/wait）
1.GIL&threadingGIL的认识：同一时间一个进程里只允许一个线程运行，只能在单个CPU上运行，无法将多个线程映射到CPU上执行1.这与python的解释器cpython有关，与语言本身无关2.多个进程可以利用多个CPU，但进程内的多个线程也只能利用单个CPU3.对与IO密集型操作(如数据保存，数据请求)，使用多线程优于多进程，因为对资源的消耗更小4.对与CPU密集型...
2020-04-24 02:23:52
863
1
原创 关于python静态方法 @staticmethod，类方法：@classmethod以及@property的使用
类的静态方法：@staticmethod解释：静态方法是类中的函数，不需要实例化使用，可直接 类名.静态方法名使用。静态方法主要是用来存放逻辑性的代码，逻辑上属于类，但是和类本身没有关系，也就是 说在静态方法中，不会涉及到类中的属性和方法的操作。可以理解为，静态方法是个独立的、单纯的函数，它仅仅托管于某个类的名称空间中，便于使用和维护。写法：加入关键字@staticmethod，方法中不...
2020-04-18 23:15:29
226
原创 爬虫基础2：多线程爬取51job职位
学习记录：1.requests思维脑图，记录基础用法2.python多线程threading模块3.队列模块Queue# -*- coding=utf-8 -*-import timeimport requestsimport threadingfrom multiprocessing import Queuefrom lxml import etreeclass Cr...
2020-04-17 23:07:28
317
原创 爬虫基础：爬取百度贴吧-猫吧标题，详情页url，详情页图片url，下载图片
学习总结：1.经试验，无需定义请求头headers也能爬取到数据2.网站编码使用utf-8，试验时要了解清楚网站编码，以免数据乱码，返回数据可以使用response.encoding='网站编码’指定编码类型3.图片数据的保存需使用二进制编码保存：response.content，使用python with open语句即可保存图片# -*- coding=utf-8 -*-import...
2020-04-16 23:49:18
254
原创 记录学习爬虫，进阶大数据，各阶段需掌握技能
#大数据方向（很艰难哦）1.python基础（语法，函数，模块，面向对象，多线程）2.python进阶（一切皆对象，魔法函数，垃圾回收，迭代器/生成器，元类编程，socket网络编程，协程，异步IO，并发编程）3.三大主流数据库（MySQL，mongodb，redis）4.爬虫基础（requests，JavaScript，CSS，html，xpath，bs4，正则）5.爬虫进阶（sele...
2020-04-15 12:37:54
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人