- 博客(151)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python Scrapy中的POST请求发送和递归爬取
POST请求发送重写爬虫应用文件中继承Spider类的 类的里面的start_requests（self）这个方法递归爬取-递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取且持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。...
2019-07-31 21:18:27
762
转载 Python Scrapy持久化存储
基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作;执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储基于管道的持久化存储 scrapy框架中已经为我们专门集成好了高效、便捷的持久化操作功能，我们直接使用即可： items.p...
2019-07-31 21:16:51
811
转载 ua池和代理池
下载中间件下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。作用：（1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等（2）在下载器完成将Response传递给引擎中，下载中间件可以对响应进行一系列处理。比如进行gzip解压等。我们主要使用下载中间件处理请...
2019-07-31 21:08:23
918
转载 Python scrapy中selenium的应用
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载...
2019-07-31 21:06:42
981
原创 Python杨辉三角
杨辉三角，是二项式系数在三角形中的一种几何排列，在中国南宋数学家杨辉1261年所著的《详解九章算法》一书中出现。在欧洲，帕斯卡（1623----1662）在1654年发现这一规律，所以这个表又叫做帕斯卡三角形。帕斯卡的发现比杨辉要迟393年，比贾宪迟600年第一种解决方法：1.一次性开辟每行的内存空间2.利用对称性解决第二种方法：1.下一行依赖上一行所有元素，是上一...
2019-07-31 21:03:00
1002
转载 Python csv，ini&序列化，反序列化
1.csv文件简介2.csv模块reader()返回一个DdictReader对象，是一个行迭代器delimiter 列分隔符，逗号lineterminator 行分隔符\r\nquotechar 字段引用符号，缺省为“。双引号writer()返回dictwriter的实例主要方法有writerow,writerows,writerow(iterable...
2019-07-30 21:10:37
524
转载 python中list方法详解说明
使用示例：1.取值2.取索引3.修改4.新增4-1 列表末尾追加 list.append4-2 在指定位置添加数据4-3 list.entend 把一个列表的内容追加到另一个列表的末尾5.删除5-1 list.remove 删除第一次出现的指定的数据，如果数据不存在，程序会报错5-2 list.pop 不带参数 删除列表末...
2019-07-30 21:04:24
1548
3
转载 Python中元组tuple详细解析
1、元组一旦定义不能修改2、可以定义空元组empty_tuple = ()3、元组中只有一个数据时末尾要加英文逗号single_tuple = (6,)4、元组取值和取索引5、统计计数 count方法统计包含元素的个数6、统计元组中包含的元素个数 len7、元组的遍历...
2019-07-30 20:50:23
1104
转载 Python中公共方法
1.内置函数Python中包含以下内置函数注意：字符串比较符合以下规则：0<a<A2.切片语法：ietm[开始索引-包含：结束索引-不包含：步长] 支持的数据类型:字符串、列表、元组3.运算符注意：in和not in在操作时，判断的是字典的key4.完整的for循环语法如下：示例：...
2019-07-30 20:48:20
1068
原创 Python 操作 SQLite 数据库
SQLite 是一个小型的关系型数据库，它最大的特点在于不需要单独的服务、零配置。我们在之前讲过的两个数据库，不管是 MySQL 还是 MongoDB，都需要我们安装。安装之后，然后运行起来，其实这就相当于已经有一个相应的服务在跑着。SQLite 与前面所说的两个数据库不同。首先Python 已经将相应的驱动模块作为了标准库的一部分，只要是你安装了 Python，就可以使用；再者它可以类似于操...
2019-07-30 20:45:02
1302
原创 Python 拓展之特殊函数（lambda 函数，map 函数，filter 函数，reduce 函数）
写在之前今天给大家介绍几个比较特殊的函数，他们具有函数式编程的特点，有人将它们视为 Python 可进行 “函数式编程” 的见证，至于什么是函数式编程，不是本篇文章的重点，感兴趣的可以去了解一下。老读者可能都知道，我非常推崇 Python 的简洁优雅，而今天的这几个函数，有了它们，最大的好处就是可以让程序更简洁，当然，没有它们程序也可以用其它方式实现。lambda 函数lambda 是...
2019-07-30 20:39:03
441
转载 Linux常用命令大全（非常全！！！）
系统信息arch 显示机器的处理器架构(1)uname -m 显示机器的处理器架构(2)uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示...
2019-07-26 21:01:33
605
转载 10道MySQL常见面试题
1、MySQL索引种类1.普通索引 2.唯一索引 3.主键索引 4.组合索引 5.全文索引2、索引在什么情况下遵循最左前缀的规则？最左前缀原理的一部分，索引index1:(a,b,c)，只会走a、a,b、a,b,c三种类型的查询，其实这里说的有一点问题，a,c也走，但是只走a字段索引，不会走c字段。索引是有序的，index1索引在索引文件中的排列是有序的，首先根据a来排序，然后才...
2019-07-26 21:00:56
576
转载 Python文件操作&函数 文件操作 练习题
一.利用b模式，编写一个cp工具，要求如下： 1. 既可以拷贝文本又可以拷贝视频，图片等文件 2. 用户一旦参数错误，打印命令的正确使用方法，如usage: cp source_file target_file 提示：可以用import sys，然后用sys.argv获取脚本后面跟的参数二.Python实现 tail -f 功能有待优化，每次打开应该...
2019-07-25 19:35:51
2133
转载 python以ATM+购物车剖析一个项目的由来及流程
一、ATM+购物车1.一个项目是如何从无到有的需求分析：#对项目需求进行分析，并提取出相应的功能程序架构设计分任务开发测试上线运行：#将项目交给运维人员上线2.部分流程具体案例功能需求本文程序功能目录规范及三层架构各文件代码...
2019-07-25 19:35:35
560
1
原创 python基础操作以及hdfs操作
一、前言 作为一个全栈工程师，必须要熟练掌握各种语言。。。HelloWorld。最近就被“逼着”走向了python开发之路，大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中，所以基本上python的相关知识都涉及到了，这里对一些基础操作以及hdfs操作做一总结，以备查阅。二、基础操作2.1 字符串操作 字符串操作应该是所有语...
2019-07-25 19:33:27
1105
转载 6道关于Python的if条件语句的语法和案例
1、条件语句 缩进用4个空格 if条件: #条件成功， else: #条件不成功 if条件:{ #条件成功， #条件成功， }else{ #条件不成功, #条件不成功, }if的语法就是这样或者是用:或者是用{}2、单个条件的if定义变量赋值...
2019-07-25 19:30:35
1176
转载 10道关于python的tuple()元组数据类型的使用方法以及案例
一、元组的概念介绍1、元组是列表的二次加工列表可以被修改列表的类型2、元组的元素不可被修改，不能被增加或者删除，（只是针对元组的一级元素是不可以修改的，元组里面的二级列表元素是可以被修改的，就是元组里面嵌套着列表）可以被for循环，所以元组也是一个可迭代对象，元组也是有序的元组的类型3、元组可以包含 数字、字符串，列表，元组 在写元组的时候在末...
2019-07-25 19:28:03
873
转载 python基础练习题30道
1、执行python脚本的两种方式答：1>可以在python /home/xxxx.py 2>cd /home ./xxxx.py 因为py脚本里面指定了python解释器的位置2、简述位、字节的关系答：1Byte(字节)=8bit(二进制位)3、简述ascii、unicode、uft-8、gbk的关系答：ascii 英文编码，8个二...
2019-07-25 19:27:44
3983
1
转载 Python在子类中调用父类的方法super
1、没有super之前，在子类里面需要父类里面的逻辑，但是我们是通过派生（自己定义了一个init，增加了一条line）.2、改进一下，在子类中调用父类的init方法3、在子类里面也调用一下父类的run方法4、super方法 调用父类的方法super的方法的好处是，当你的父类的名字改变之后，只需要在Subway那里继承的名字改一下，就行，不用动下面的...
2019-07-25 19:25:27
2104
转载 Python 反射attr以及模块动态导入
一、实现自省的四个函数1、hasattr判断一个对象中有没有一个name字符串对应的方法或属性如果没有则返回False2、getaddr 获取实例的属性如果需要获取的实例的属性没有的话就报错了可以加一个默认的参数，如果getaddr获取的属性不存在的话就返回你定义的那个3、setaddr给对象(实例)设置属性用seta...
2019-07-25 19:24:23
1114
转载 Python继承的方式完成包装__attr__
__getattr__ 当实例要调用的属性不存在的时候会触发__setattr__ 当实例要设置属性的时候会触发__delattr__ 当实例要删除属性的时候会触发这三个方法是python内置的方法，如果不自己定义的话，就是默认的，自己定义的话就是用自己定义的1、__getattr__ 当要调用的属性不存在的时候会触发没有自己定义__get...
2019-07-25 19:23:09
520
转载 Python组合的方式完成授权
1、包装是在之前原有的方法的基础上，在做一点改动，这叫包装，就像包装那个append方法现在我们来做一个open方法2、啥都没做，那我们来改动一下现在就创建了一个a.txt3、再改善一下4、我们看下我们自己的这个read跟系统的open方法的read是不是一个东西5、现在f.write也能调用了。read你会调用了write也是一样的...
2019-07-25 19:21:58
567
转载 Python字典的增删改查以及嵌套
#字典 #基础数据类型之一，{}以键值对的形式存储数据。# dic={'name':'Laonanhai',# 'age':45,# 'name_list':['反面教材','俊俊',....]# }# 以key:value形式，映射，存储的大量的关系型数据。# 数据类型的分类：# 可变（不可哈希hash）：list...
2019-07-24 20:53:35
799
转载 6道有趣的Python编写练习题！
1. 登录作业：写一个登录程序，登录成功之后，提示XXX欢迎登录，登录失败3次后，提示账户锁定2. 判断密码是否安全设计一个密码是否安全的检查函数。密码安全要求：1.要求密码为6到20位，2.密码只包含英文字母和数字3. 有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？分析：- 可填在百位、十位、个位的数字都是1、...
2019-07-24 20:40:17
1462
转载 python实现某目录下将多个文件夹内的文件复制到一个文件夹中
现实生活中，我们经常有这样的需求，如下图，有三个文件夹，文件夹1内含有1.txt文件文件夹2中内含有2.txt文件，文件夹3中含有3.txt文件。我们有时候需要把1.txt, 2.txt, 3.txt文件复制到同个文件夹中。下面介绍一下如何使用python实现该功能：运行该脚本，然后输入文件夹1，文件夹2，文件夹3所在的路径，就可以将文件夹1，文件夹2文件夹3里面...
2019-07-24 20:38:37
2290
转载 Python爬虫教程：解析网页中的元素
一、基本步骤在我们理解了网页中标签是如何嵌套，以及网页的构成之后，我们就是可以开始学习使用python中的第三方库BeautifulSoup筛选出一个网页中我们想要得到的数据。接下来我们了解一下爬取网页信息的步骤。想要获得我们所需的数据分三步第一步：使用BeautifulSoup解析网页Soup = BeautifulSoup(html,'lxml')第二步：描述想要爬去信...
2019-07-24 20:36:32
1818
转载 python-time模块、sys模块、os模块以及大量实例
模块通俗的说模块就把一个已经写好的带有可使用的函数的文件，通过文件名进行导入，然后调用里面的函数等来完成所需功能，模块封装了你需要实现功能的代码，使用者只需调用即可，简化代码量，缩短编程时间。 time模块实例timedata模块sys模块sys.stdin.red()...
2019-07-24 20:34:51
419
原创 Python基础教程：运算符以及数据类型解析
运算符一.算数运算：二.比较运算：三.赋值运算四.逻辑运算五.成员运算基本数据类型一.Number（数字）Python3中支持int、float、bool、complex。使用内置的type()函数查询变量类型。int（整型）在python2中整数类型有两种一个是int，表示整型，一种是long，表示长整型。而在pytho...
2019-07-24 20:31:15
485
转载 使用Python Requests模块+BeautifulSoup模块爬取网站
首先爬取一个网站主要分两步1、第一步我们要了解服务器与本地交换机制，选择正确的办法我们才能获取正确的信息。2、我们需要了解一些解析真实网页获取信息的一些办法，还有一些思路服务器与本地交换机制 我们先讲解一下服务器与本地的交换机制，首先我们先了解一个这样运作的常识，我们在平常浏览网页的时候，实际上我们使用浏览器点击每一个页面，都是向网站所在的服务器发起一个请求，我们称之为Reque...
2019-07-24 20:25:44
1506
转载 python财经数据接口包Tushare pro的入门及简单使用方式（大数据，股票数据接口）
最近在做一个项目，需要用到股票的数据，我在网上查了很久，最终发现在股票数据上面还是tushare比较专业，而且对于将来做金融行业的大数据这一块的，tushare绝对是你的一个好帮手，所以下面我就简单介绍一下。一、Tushare Pro简介 Tushare旧的版本运行了三年，在旧的版本运行了三年之后，Tushare Pro被发布，相对于之前的版本，它更加稳定质量更好，而且有了前三年的运行...
2019-07-24 20:19:53
9087
1
原创 多进程的实现原理-多道技术
1.操作系统 位于应用软件和硬件设备之间,本质是一个软件核心作用:1.为用户屏蔽了复杂繁琐的硬件接口;为应用程序提供了清晰易用的系统接口2.将用用程序对硬件资源的竞争变得有序操作系统与应用程序的区别:1.操作系统是受保护的,无法被用户修改2.大型:仅内核代码量达上百万行3.长寿,一旦完成,不会重写,只会有所改进2. 操作系统发展史第一代计算机(1940-1...
2019-07-24 20:15:43
1551
转载 Python并发编程中关于死锁,递归锁,信号量的理解
并发编程中关于死锁,递归锁,信号量的理解1.死锁**** 所谓死锁： 是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程，如下就是死锁 产生死锁的情况:1.对一把互斥锁加锁多次 2.一个共享资源 要访问必须同时具备多把锁,但是这些锁被...
2019-07-23 19:50:58
435
原创 python Image 模块处理图片
Python-Image 基本的图像处理操作，有需要的朋友可以参考下。Python 里面最常用的图像操作库是Image library（PIL），功能上，虽然还不能跟Matlab比较，但是还是比较强大的，废话补多少，写点记录笔记。1. 首先需要导入需要的图像库：import Image2. 读取一张图片：im=Image.open('/home/Picture/t...
2019-07-23 19:50:06
7275
原创 Python函数之可迭代对象、迭代器的判断
怎么判断一个对象是可迭代对象还是迭代器例子方案一使用dir()函数查看对象的属性列表，如果只有__iter__()函数则是可迭代的，如果__iter__()和__next__()函数都有则是迭代器。一个数据类型中包含了__iter__函数表示这个数据是可迭代的dir(数据): 返回这个数据可以执行的所有操作判断迭代器和可迭代对象的方案(野路子)...
2019-07-23 19:48:00
1004
原创 Python高阶函数和匿名函数
map()map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。输出结果：可以看出，map让函数func作用于列表的每一项，使列表的每一项都被函数func执行一次，即列表的每一项都进行平方。其返回值是map类型。reduce()reduce函数必须接收两个参数,把一个...
2019-07-23 19:45:42
488
转载 pycharm运行正确但是不出结果
描述：之前用的好好的，突然有一天用pycharm运行程序，明明结果正确， 打印不出来结果，看下图解决：查看File Transfer有好多错误，意思是没有连接上服务器[2018/12/8 21:05] Automatic upload failed: could not connect to SFTP server at "192.168.0.204". (SSH_MSG_D...
2019-07-23 19:42:47
8542
2
原创 python3模块: json & pickle
概念：序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON，XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。JSON（Java Script Object Notation）：一种轻量级数据交互格式，相对于XML而言更简单，也易于阅读和编写，机器也方便解析和生成，Json是Ja...
2019-07-23 19:42:14
423
原创 Python3模块: hashlib
简介：用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224，SHA256，SHA384，SHA512,MD5算法。在python3中已经废弃了md5和sha模块，简单说明下md5和sha的使用。什么是摘要算法呢？ 摘要算法又称为哈希算法，散列算法。它通过一个函数，把任意长度的数据转换为一个长度固顶的数据串（通常用16进制的字符串表示）用于加密相关的操作...
2019-07-23 19:40:16
474
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人