qq_42543254的博客

工作良久，现分享一下Aanconda安装步骤，致在学习Python的学子们，望你们在学习的过程中少走一些弯路。1.百度Aanconda

一、什么是分布式爬虫1.默认情况下scrapy是单机爬虫,只能在一台电脑上运行因为爬虫调度器当中的queue去重和set集合都是在本机上创建的其他的电脑无法访问另外一台计算机上的内存的内容2.分布式爬虫用一个共同的程序,同时部署到多台电脑上运行这样可以提高爬虫的速度  实施分布式爬虫二、分布式爬虫的前提1 保证每一台计算机都能够正常执行scrapy命令  能够启动爬虫...

window上安装Node.js你可以采用以下两种方式来安装1.Window安装包（.msi）32位安装包下载地址： https://nodejs.org/dist/v4.4.3/node-v4.4.3-x86.msi64位安装包下载地址： https://nodejs.org/dist/v4.4.3/node-v4.4.3-x64.msi2.双击下载后的安装包，如下图所示：...

Django初始python下有许多款不同的web框架，django是重量级选手中最有代表性的一位。许多成功网站和app都是基于django。django是一个开放的源代码的web应用框架，由python写成。django采用MVC的软件设计模式，即模型M，视图V和控制器C.目前django版本对应的python版本：Django 安装1.打开终端输入安装django的...

（一） 代码的编排1、 缩进。每行需要4个空格的缩进，不要使用Tap键，更不能混合使用Tap键和空格。2 、每行最大长度79，换行可以使用反斜杠，但最好使用圆括号。换行点要在操作符的后边敲回车。3 、类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行。（二 ）文档的编排1、 模块内容的顺序：模块说明和docstrin...

1.安装django命令:pip install django==2.1.12.验证是否安装成功:django-admin --version3.创建一个文件夹DjangoFirst,cd进来，执行命令:django-admin startproject myFirst4.执行命令:python manage.py runserver 启动django5.创建app,django-admi...

在我们的项目中，不可能只有一个app，如果把所有的app的views中的视图都放在urls.py中进行映射，肯定会让代码显得非常乱。因此django给我们提供了一个方法，可以在app内部包含自己的url匹配规则，而在项目的urls.py中再统一包含这个app的urls。使用这个技术需要借助include函数。示例代码如下：# first_project/urls.py文件：from dj...

在navicat链接mysql以后的版本时，会出现2059的错误，这个错误出现的原因是在mysql8之前的版本中加密规则为mysql_native_password，而在mysql8以后的加密规则为caching_sha2_password。解决此问题有两种方法，一种是更新navicat驱动来解决此问题，一种是将mysql用户登录的加密规则修改为mysql_native_password。本文采用...

分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样可以提高爬虫速度。在默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他的电脑无法访问另外一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可以让scrapy结合scrapy_redis来完成。要实现...

 1.安装条件：        1）需要microsoft visual C++ Runtime 64 bits（下载地址：http://download.csdn.net/download/ruthywei/10051704）　　2）.net framework4.0（下载地址：http://rj.baidu.com/soft/detail/15910.html?ald）　　如果Wi...

1.官网下载 (网址为：http://phantomjs.org/download.html)根据其电脑系统下载相应的zip2.解压 --->进入bin文件夹 --->复制phantomjs.exe的路径。3.配置环境变量计算机右击---属性---高级系统设置---环境变量---系统变量---path文件夹将复制的phantomjs.exe的路径粘贴值至最后...

昨天操作Aanconda的安装、pycharm的破解。今天来浅谈一下关于Python操作的基本知识。一、变量1.什么叫做变量？变量就是赋值的过程，就是把=号右边的值赋予左边。2.什么是字符串？在写字符串时应注意什么？字符串就是将一段字符串联起来（任意一个字符、数字、汉字、符号都是字符）。在写代码是如果print的内容为字符串时，必须用引号来包裹。3.在编写代码时为什么要写注释？什么是注释?写注释的...

经过这几天关于Python的分享，下面我们分享一下关于Python的小操作，顺便编写一些小程序供大家一起学习，探讨。一、个税的计算从网上我们找到了关于税率的内容，我提取了一些重要的部分，下面我们根据这些内容，我们用Python它编写为小程序。计算方法如下：扣除标准3500元/月（2011年9月1日起正式执行）（工资、薪金所得适用）三险一金 = 工资 * 比例     扣除三险一金后月收入 = 工资...

1.索引错误：列表超出索引范围。IndexError: list index out of range解决方法：仔细观察列表元素的多少，使其在索引范围内进行。错误代码如下：list1=[1,2,3]print(list1[4])2.索引错误：字符串超出索引范围。IndexError: string index out of range解决方法：仔细观察字符串元素的多少，使其在索引范围内进行。错误...

昨天我们分享了一些关于Python语法的操作，今天我们继续来分享一些常用语法。一、循环语法循环语法可分为：for in结构和while结构，下面我们来一一演示。for in结构：for x in range(10) : print(x)while结构：age=1while age < 18 : print('你还小，今年才{}岁'. format(age)) age...

一、时间处理在进行时间处理过程中我们首先要引入包1.获取本地时间的结构体。import time# time.struct_time结构体time1=time.localtime()print(time1)2.获取1970年开始到现在的秒数。time2=time.time()print(time2)3.获取从1970年开始往后指定的秒数。time3=time.localtime(15312...

经过这几天工作的忙碌，我终于又静下心来，让我来分享一些实际的案例并分享它的做法。1.案例：获取下面列表当中的每一个值，不必在同一行显示list = [(1 ,[2 , 3]) ,( 4 ,[5 ,6 ,7]),(8, [9,10,11,12])]for x , y in list: print(x) for z in y : print(z)2.提取字典中的fri...

1.首先ctrl+r进入终端输入（pip install selenium）进行python安装selenium2.打开百度浏览器进行分别输入geckodriver和Chromedriver对火狐和谷歌对应的驱动程序进行的下载。其对应的网址火狐： https://github.com/mozilla/geckodriver/releases谷歌：http://npm.taobao....

运用scrapy框架爬取所需要的内容。我在百度贴吧中找了一篇小说，我来只爬取楼主的文本信息。下面为初始代码。import scrapyimport reclass XiaoshuoSpider(scrapy.Spider): name = 'xiaoshuo' allowed_domains = ['tieba.baidu.com'] start_urls ...

selenium由网页驱动浏览器进行操作，速度慢是一大特点，经常会出现代码执行完毕，但是网页内容还没有加载完毕，里面的标签还没有显示出来，如果这个时候操作里面的标签就会抛出异常NoSuchElementExpection解决的方法：时间休眠 time.sleep()(无论页面的内容有没有加载完毕，一定要休眠够指定的秒数)一、按键操作1.在按键操作之前一定要引入与之对应的包（我这里以百度...

今天在这里我向大家简单的谈论一下关于scrapy框架的安装，不当之处望大神给予指出。1.关于scrapy框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪs...

本操作在Cmder工具下进行操作一、虚拟环境的配置1.首先选择创建虚拟环境的工作目录（d盘为例）2.创建虚拟环境文件夹，（start .）可查看文件夹路径信息3.创建虚拟环境命令：python -m venv 文件夹名称4.进入虚拟环境文件夹（可通过输入dir查看D盘文件夹目录）5.进入Script目录下6.激活所创建的虚拟环境输入命令：ac...