Python3.7 Scrapy crawl 运行出错解决方法 笔记本安装的是Python3.7,装上依赖包和scrapy后运行爬虫命令出错from scrapy import cmdlinecmdline.execute('scrapy crawl xxx'.split(' '))主要错误如下: File "D:\Python37\lib\site-packages\scrapy\extensions\telnet.py", line 12,...
多线程爬取图片网(分类存储到文件夹) import requests import re from bs4 import BeautifulSoup import os from lxml import etree from multiprocessing import Process,Pool运用几种常见的解析方式解析htmlINDEX_URL = ‘http://www.ivsky.com/tupian/zi...
在Ubnutu16上安装elasticsearch-rtf&elasticsearch-head 一丶 安装JDK sudo apt-get install default-jdk 这个命令默认安装的是默认安装1.8版本的jdk,且不用配置环境变量查看安装是否成功 输入 java -version 如下图所示即安装成功 二丶 安装elasticsearch-rtf 下载前先cd 到 / 1.下载(安装git) git clone git://github.co...
Python3 类函数和静态函数 # -*- coding:utf-8 -*-# 类函数 和 静态函数class People(object): def __init__(self,name,age): # 调用父类的初始化函数 super(People, self).__init__() # 初始化当前类对象的一些属性 self.name = n
Python3 类的继承 # -*- coding:utf-8 -*-# 面向对象编程的三个特点:封装、继承、多态# 函数是封装代码的基本单位,类和对象的封装是属于更高级的封装方式 ,在类中经常会声明一些对象属性,用来保存数据的,在类中声明的函数,是用来操作数据的,不同的功能可以封装成不同的函数# 继承 特点:# 1.子类继承父类,子类拥有父类的所有属性和函数,但是父类不可以使用子类独有的属性函数# 2.子
Python3 (类)保存数据的函数 # -*- coding:utf-8 -*-# 声明一个类型class People(object): # 类变量 file_name = 'student.txt' def __init__(self,name,school): self.name = name self.school = school # 属性
Python3 声明一个类,实现某些功能(例子) # -*- coding:utf-8 -*-''' 1.声明一个类:花类 1.1 花类属性:颜色(color)、花季(adolescence)、名称、花语(florid)、花瓣数(petal_count) 1.2 花类功能:泡茶(brew)、洗澡(shower)、是否爱我(花瓣数)(love)、清新空气(clean_air) 创建花对象:
Python3 对象的私有属性 # -*- coding:utf-8 -*-# 对象的私有属性class People(object): """description 可以写一些类的描述""" def __init__(self,name): self.name = name # 声明一个对象的私有属性 # 私有属性只能在类声明的范围内使用
Python3 对象实例函数 # -*- coding:utf-8 -*-# 对象实例函数class People(object): # 如果需要在创建对象的时候,给对象属性赋值,就可以在初始化函数中传递参数,给属性赋值,如果不需要初始化对象属性值,就不用写了 def __init__(self): # 初始化函数可以不用传递参数值 # 可以直接给属性赋一个默认值
Python3 类属性、类变量 # -*- coding:utf-8 -*-# 类属性、类变量:只能由类调用的属性class People(object): # 类变量可以由所有的对象访问,但是对象只能访问,不可修改 # 用来做资源共享 total = 0 # 初始化函数,添加对象属性 def __init__(self,name,age,school): ...
Python3 类和对象 # -*- coding:utf-8 -*-# python是面向对象的编程语言,面向对象特点:继承、封装和多态# 面向对象编程:和面向过程一样,是一种编程思想# 类是具有相同属性和行为方法的事物的抽象的集合# 对象就是类具体的实例化# 类的作用: 创建对象,一般会在类中定义一些属性和函数,当使用类创建对象的时候,该对象就会拥有类中定义的这些属性和函数# 类中一些属性和函数,是由所
pyhon3 sorted()字符串排序函数 # -*- coding:utf-8 -*-# sorted()函数 可以对数字(从小到大、从大到小)或字符串(ASCII)进行排序# 对数字进行排序list1 = [1,33,22,8,99,66,17,42]# 默认按照升序排列rs = sorted(list1)print (rs)# 实现一个按照降序排序的函数(只能在python2中运行)# 如果x>y 返回-1,如果x
Python3 变量的作用域 # -*- coding: utf-8 -*-# 变量的作用域:是指一个变量所产生作用的范围,在哪一个范围内能够被解释器识别。# NameError: name 'name' is not defined# print name# 变量的作用域:全局变量和局部变量# 一般声明在函数外部的变量,被称为全局变量,作用范围是整个.py文件内,都可以使用,都能被解释器识别到。# 一般声
python3 异常捕获 # -*- coding: utf-8 -*-# try....except.... 用于异常捕获,当一段代码程序执行时出现异常(报错),会导致整个程序结束,出现异常的地方之后的逻辑代码就不会执行了,所以需要捕获异常,当捕获到异常之后,可以对异常进行处理,处理完成之后,可以保证项目中的其他代码不会受影响list1 = [1,2]try: s = list1[4]except Ex
python3 map函数和reduce函数的实例:1)字符串转换整数; 2)字母大小写转换 # -*- coding: utf-8 -*-from functools import reduce''' 练习一: 自己写一个函数,实现字符串转换为整数 {'0':0,'1':1,'2':2,'3':3,'4':4,'5':5,'6':6,'7':7,'8':8,'9':9} 例如: '123456' 返回 123456数字 使用map和re
python3 列表生成式,字典生成式,generator列表生成器的应用 # -*- coding:utf-8 -*-# 列表生成式是快速生成一个列表的一些公式numbers = []for x in range(0,101): numbers.append(x)print (numbers)# [要放入列表的数据 简单的表达式1 表达式2]# x for x in range(0,101) for循环遍历出来的值,放入列表中numbers =
python3 reduce()函数 【Ps:python3中默认没有引入该函数】 # python3中默认没有引入该函数from functools import reduce# reduce()函数: 要执行的函数接收两个参数,两个元素会进行一次运算,并且将运算的结果和第三个元素再次运算...以此类推...list3 = [1,2,3,4,5,6,7,8,9,10]def add(x,y): result = x+y return result# r
python3 map()函数 # -*- coding:utf-8 -*-# 生成一个列表,列表中存放10个数字,经过计算,返回一个存放数字的平方的列表def calc_list(numbers): # 声明一个空列表,用来存放计算后的数字 result_list = [] for num in numbers: s = num*num # 把计算之后的数字放在列表
python3 匿名函数的用法 # -*- coding:utf-8 -*-# 匿名函数# 1.不用给函数取名# 2.使用方便,随时定义,随时使用def calc_x(x): return x*xrs = calc_x(10)print (rs)# lambda 参数列表:函数执行的简单逻辑代码# lambda 返回一个函数对象,可以使用变量接收a=lambda x:x*x# 调用匿名函数#
python 字符串函数的练习 # -*- coding:utf-8 -*-string = '明星同款| 钟基欧巴穿的小脏鞋5折辣!" >明星同款| 钟基欧巴穿的小脏鞋5折辣!装逼| 你们见过凌晨四点钟的洛杉矶吗?" >装逼| 你们见过凌晨四点钟的洛杉矶吗?反人类| 世界上最干净的纸竟然是黄色的!" >反人类| 世界上最干净的纸竟然是黄色的科普| 吃了避孕药之后怀的孩子能要吗?" >科普| 吃了避孕药之后怀的孩子能要吗?真