![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
木易小猿q_3456069079
不念千古,只爱当下!
展开
-
python爬虫下载网抑云歌单音乐
最近开车总感觉车里的车载音乐非常的老土,现在都玩网抑云了,抽空看了一下它的页面,发现音乐好听,还可以下载,闲来无趣,写了个爬虫将榜单上所有的歌曲信息提取并分类下载了一下,效果还不错,比原来的车载音乐丰富多了!原创 2020-12-03 19:48:53 · 374 阅读 · 0 评论 -
创建python工具存储类文件(处理解析数据时出现的特殊字符,创建动态存储功能函数,方便引用)----实例: bs4爬取伯乐在线
创建工具存储类tools文件: 内含处理解析数据时出现的特殊字符的方法, sql储存数据的动态方法, excel表格存储数据的动态方法功能文件创建好之后, 可以在不同的爬虫项目中进行引用,可以在以后码爬虫项目时省去大量的时间精力# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/16 9:40'import re...原创 2018-08-16 20:39:22 · 273 阅读 · 0 评论 -
深度理解HTTP请求报文和HTTP响应报文
HTTP请求报文和HTTP响应报文 HTTP协议简介超文本传输协议(英文:Hyper Text Transfer Protocol,缩写:HTTP)是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP协议请求的资源由统一资源标识符(Uniform Resource Identifiers,URI)来标识。HTTP报文是面向...原创 2018-08-16 20:54:56 · 11987 阅读 · 0 评论 -
基于Scrapy_redis部署scrapy分布式爬虫
基于Scrapy_redis部署scrapy分布式爬虫1.使用命令行工具下载工具包 scrapy_redis(若是虚拟环境可下载在虚拟环境中)2.准备一个写好的没有错误的爬虫项目(这里以51job为例)3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器4.修改spider爬虫文件 5.如果连接的有远程服务,例如...原创 2018-09-26 22:00:47 · 236 阅读 · 0 评论 -
在Scrapy框架中创建爬虫项目运行爬虫和配置下载图片
本文讲解在 Scrapy下创建爬虫项目,以下是创建步骤,创建实例见底部附录创建项目步骤 1. 打开cmd命令行工具,输入scrapy startproject 项目名称(有虚拟环境先进入虚拟环境) 2. 使用pycharm打开项目,查看项目目录3. 创建爬虫,打开CMD,cd命令进入到爬虫项目文件夹,输入scrapy genspider 爬虫文件名 爬虫基础域名4....原创 2018-10-12 22:40:45 · 254 阅读 · 0 评论 -
Python虚拟环境的安装和配置(windows)
1~9步仅供参考,快捷方法可见第9步之后操作,若是首次配置环境,一定要把第二步的配置环境变量完成1. 先在电脑上将python2.7和python3.6版本安装完成,并记清楚安装路径,统一安装在D盘2. 配置系统环境变量中的path路径,添加路径的版本即为默认使用版本3. 在命令行工具中输入pip install virtualenv 下载python虚拟环境 4....原创 2018-10-13 10:35:38 · 261 阅读 · 0 评论 -
Redis简介及其安装方法
Redis简介REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。Redis 与其他 key - value 缓存产品...原创 2018-10-13 11:16:18 · 219 阅读 · 0 评论 -
mysql安装过程详述及在cmd命令行中的mysql命令
mysql安装1. 安装mysql遇到这个问题,按照提示去下载.NET Framework4.0并安装,然后重启地址:https://www.microsoft.com/zh-cn/download/details.aspx?id=177182. 选择开发默认版本,直接下一步3. 下一步,点是4. 点击execute,会进行下载,等待下载完成5....原创 2018-10-13 11:39:27 · 705 阅读 · 0 评论 -
虚拟环境下Django创建、运行项目、在网页中显示简单的hello world!
Django创建项目及虚拟环境搭建1. 使用workon 搭建基于python3.6的django开发环境2. 进入虚拟环境,使用豆瓣源下载django框架,等待下载完成即可 推荐下载1.11版本 pip install django==1.113. 进入desktop桌面,使用django-admin startproject 项目名 构建django项目4. ...原创 2018-10-13 15:06:09 · 754 阅读 · 0 评论 -
Django 字段类型汇总
Django 字段类型 字段类型 含义 数据库表示 AutoField int 自增列,必须填入参数 integer AUTO_INCREMENT BigAutoField bigint 自增列,必须填入参数 bigi...原创 2018-10-13 15:51:47 · 551 阅读 · 0 评论 -
详述Scrapyd部署爬虫项目
Scrapyd部署爬虫项目博客目的: 本博客介绍了如何安装和配置Scrapyd,以部署和运行Scrapy spider。Scrapyd简介 : Scrapyd是一个部署和运行Scrapy spider的应用程序。它使您能够使用JSON API部署(上载)项目并控制其spider。部署步骤:1. 新建虚拟环境(方便管理...原创 2018-09-29 22:37:00 · 334 阅读 · 1 评论 -
Python面试题,python知识点汇总
Python面试题,python知识点汇总填空题1. Python中的编码格式你用过哪些?utf-8, gbk, gb2312, ascii, gb180302. 列举使用过的装饰器@classmethod、@staticmethod、@property3. 参数*args和**kwargs的区别 *args不定长参数,传入函数中是一个元组, **kwargs 不定长关键字参数,...原创 2018-10-26 20:43:42 · 1909 阅读 · 4 评论 -
bs4主要知识点介绍及实例解析---利用bs4爬取伯乐在线(分别存储在数据库和xls表中)
bs4主要知识点介绍及实例讲解bs4 是第三方解析html数据的包from bs4 import BeautifulSouplxml 解析读取html的第三方解释器,解析速度快,底层通过c实现# 1.网页源代码 2.解析器名称bs = BeautifulSoup(html, 'lxm...原创 2018-08-15 20:46:45 · 823 阅读 · 0 评论 -
python正则表达式知识汇总
正则表达式常用的一些字符串匹配规则1. \d:用于匹配一个数字2. \w:用于匹配一个数字或者字母3. .:用于匹配前面字符后面跟着任意一个字符。如:a.:ab,ac,al,af,ag4. *:用于匹配前面一个字符0个或者多个 a*:匹配0次,或者aa,aaa,aaaa,aaaa...原创 2018-08-07 11:16:04 · 277 阅读 · 0 评论 -
爬取奇书网书籍信息并存入自动生成的xls表中(完善版)
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/10 9:08'import refrom random import choicefrom urllib import requestimport xlwt"""爬取奇书网书籍信息终极版"""class NovelSpider(object): ...原创 2018-08-10 21:25:13 · 450 阅读 · 0 评论 -
python中字典的基础知识
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:10'# 字典 容器类,可以用来存放数据,是以key:value的形式进行存储的,并且key在字典中具有唯一性,字典中存储的数据是无序的,字典中的增删改查操作都可以通过key完成# key必须是不可变类型的,字符串、数字、元组都是不可变的,推荐使用字符串...原创 2018-07-24 21:26:40 · 240 阅读 · 0 评论 -
python中元组,集合的基础知识
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:10'# -------------------元组 tuple# 元组是一个不可变列表# 1.声明元组tuple1 = (1, 2, 3, 4)# 根据索引取数据s = tuple1[0]print(s)# 元组中的数据不可以进行修改、删除、...原创 2018-07-24 21:28:37 · 196 阅读 · 0 评论 -
python中字符串的基础知识
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:10'string = ' 今天是2018年7月12号,星期四 ,'# strip() 默认去除两端空格,可以指定要去除的字符string = string.strip(',')print(string)# replace() 替换字符串函数...原创 2018-07-24 21:31:25 · 203 阅读 · 0 评论 -
python文件的读取写入
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:12'# 1.打开文件# 参数1.要打开的文件 参数2.打开文件的方式# 打开文件方式: 1.w(write) 只写入 2.r(read) 只读 3.w+和r+ 可读可写 4.a(append) 追加 5.wb+(write bytes) 读写...原创 2018-07-24 21:32:14 · 234 阅读 · 0 评论 -
利用sql语句实现学员管理系统的增删改查(面向对象方法)
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/26 9:12'import sqlite3class Student(object): """学员信息数据模型类""" def __init__(self, s_id, name, phone): self.s_id = s_id...原创 2018-07-26 19:48:33 · 396 阅读 · 0 评论 -
HTTP请求GET和POST的区别
HTTP请求GET和POST的区别1.请求参数位置:GET提交,请求的数据会附在URL之后(就是把数据放置在HTTP协议头<request-line>中),以?分割URL和传输数据,多个参数用&连接;例如:login.action?name=hyddd&password=idontknow&ver...原创 2018-08-10 19:51:30 · 283 阅读 · 0 评论 -
用python正则表达式爬取糗事百科并储存在sql中
程序主代码(详情标注)# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/7 11:20'from urllib import requestimport reimport sqlite3from tools import StrTools"""QsbkSpiderurl 地址html 网页源代码...原创 2018-08-10 20:31:11 · 338 阅读 · 0 评论 -
正则爬取天堂图片网并存储在自动生成文件夹中
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/7 20:17'import osimport refrom urllib import requestclass WeddingImageSpider(object): def __init__(self, t_id): #...原创 2018-08-10 20:43:27 · 669 阅读 · 0 评论 -
关键词一键查询51job工作岗位招聘详情(python正则表达式)
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/9 10:17'import refrom urllib import request, parseclass JobSpider(object): def __init__(self): self.url = '' s...原创 2018-08-10 20:50:14 · 865 阅读 · 0 评论 -
爬取奇书网书籍信息并存储在自动生成的slsx表中(正则初级)
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/9 9:34'import refrom urllib import requestimport xlwt"""爬取奇书网书籍信息初极版"""class QishuSpider(object): def __init__(self, t_id):...原创 2018-08-10 21:19:41 · 536 阅读 · 0 评论 -
Python中列表的基础知识
# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:09'## 列 表## 一. list 列表,容器类,可以用来存储数据元素# 二. 列表中存储的数据都是有顺序的,第一个元素的索引(下标)为0,第二个元素为1,依此类推# 1.---添加数据---1.1 追加数据 appen...原创 2018-07-24 21:15:15 · 223 阅读 · 0 评论