北慕的博客

在接口请求参数中，Form Data算是相对少见的，也正是少见，所以平时并没有太留意用法，有一些细节处理不好就会容易“上坑”。这里用一个例子简单记录一下用requests发送F

在使用pycharm开发一些需要访问网络资源的程序时，往往会因人或因物导致的一些配置，表面上看不到问题，但实质运行过程中并未如预期，最后就是产生一些莫名其妙的结果，即使检查了千万遍，可能也检查不出问题所在。其中的原因，很多是我们的请求头或参数有问题，在爬虫领域更甚，有时在代码中配置了相同的请求url,header,cookie，以为是配对了，但有时方式不一定对，有时在这框架OK，换了个框架，得到的响应内容又不一样。 所以，这时候为了保证我们发送的请求参数和目标网站收到的...

目录1 什么是异步编程1.1 阻塞1.2 非阻塞1.3 同步1.4 异步1.5 并发1.6 并行1.7 概念总结1.8 异步编程1.9 异步之难(nán)2 苦心异步为哪般2.1 CPU的时间观2.2 面临的问题2.3 解决方案3 异步I/O进化之路3.1 同步阻塞方式3.2 改进方式：多进程3.3 继续改进：多线程3.4...

在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。以下代码默认运行环境为python3。目录一、多线程、多进程1.同步执行2.多线程执行3.多线程+回调函数执行4.多进程执行5.多进程+回调函数执行二、异步  1.asyncio示例11.asyncio示例2 2.asyncio + aioht...

BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。更多详情参阅中文文档：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/目录安装：使用示例：1. name，标签名称 2. at...

 参考官方文档：http://www.python-requests.org/en/master/目录一、发送请求发送GET请求：发送POST请求发送put请求发送delete请求发送head请求发送options请求二、传递URL参数以字典形式作参数输入将一个列表作为值传入三、响应内容 二进制响应内容JSON响应内容原始响应内容...

centos7 python2.7安装完pip后执行命令创建项目： scrapy startproject todayMovie结果报错了，如下：   [root@lhy-v7-21 scrapycrawler]# scrapy startproject todayMovieTraceback (most recent call last): F...

不用即忘，做为一名码奴，相信这话得到大多数人的认可。做为一名有多年经验的爬手，有时也要经常查找曾经用到的知识。这不，近期有一段时间没有接触模拟爬取的，电脑系统也因某些原因重新了，所有环境都得从0开始。于是，发现想用selenium时瞬间忘记当时是怎么安装的了，有时也会碰到一些莫名其妙的问题上网查了半天也不得其果，今天正好有时间，打算好好温习一下这块基础知识，顺便记录下来，方便以后查阅。这...